Description du poste Nous sommes à la recherche d'un(e) ingénieur(e) des systèmes expérimenté(e) en entrepôt de données (ingénieur(e) de plateforme de données) pour diriger l'évolution de notre plateforme de données d'entreprise, en la faisant passer d'une architecture Hadoop/Hive traditionnelle vers une plateforme Lakehouse moderne et infonuagique native, bâtie sur Apache Iceberg et le stockage d'objets.

Ce rôle est axé sur l'ingénierie de plateforme, soit la construction et l'exploitation d'une infrastructure de données à grande échelle, plutôt que le développement de pipelines de données propres à des applications d'affaires.

Le/la candidat(e) idéal(e) possède une expertise approfondie des systèmes de données distribués, des architectures infonuagiques natives et des technologies de traitement de données à grande échelle.

Vous serez responsable de la conception et de la livraison de capacités de plateforme essentielles, notamment: Architectures à séparation du calcul et du stockage Implémentations de lacs de données basées sur Apache Iceberg Cadres d'accès unifiés à travers plusieurs moteurs de traitement (Spark, Flink, Trino, etc.) Exploitation fiable des charges de travail de données sur Kubernetes et le stockage d'objets Résolution de défis d'ingénierie à grande échelle liés à la performance, à l'évolutivité, à la concurrence, à l'optimisation des coûts et à la stabilité opérationnelle à l'échelle du pétaoctet (Po) Principales responsabilités: Concevoir, construire et exploiter une plateforme Lakehouse à l'échelle de l'entreprise, basée sur Apache Iceberg, afin de soutenir les charges de travail de données par lots, en continu et incrémentielles.

Diriger la migration de Hadoop/HDFS vers des architectures de stockage d'objets infonuagiques natives et mettre en œuvre la séparation du calcul et du stockage à grande échelle. Développer et améliorer les services essentiels de la plateforme, y compris la gestion des métadonnées, les systèmes de catalogue, les cadres de gouvernance et les capacités d'accès aux données multi-moteurs.

Optimiser les moteurs de traitement distribués tels que Spark afin d'améliorer la performance, l'évolutivité, la fiabilité et l'efficacité des coûts dans des environnements à l'échelle du pétaoctet.

Construire et exploiter des plateformes de données infonuagiques natives sur Kubernetes,



y compris l'orchestration des charges de travail, la gestion des ressources et l'automatisation opérationnelle.

Intégrer la plateforme aux écosystèmes infonuagiques tels qu'Azure, Databricks et Snowflake afin de permettre un flux de données harmonieux et l'interopérabilité. Développer des composants de plateforme internes et des outils d'ingénierie pour l'ingestion de données, l'orchestration, la gestion de la qualité, le diagnostic et l'automatisation basée sur l'intelligence artificielle.

Compétences requises Connaissance de niveau expert d'Apache Spark, y compris la planification d'exécution, le traitement du « shuffle », la gestion de la mémoire et l'optimisation de la performance.

Solide expérience avec Apache Iceberg, Hudi ou Delta Lake, y compris l'architecture des métadonnées, les instantanés (snapshots), les manifestes, l'évolution des schémas et l'évolution des partitions.

Expérience pratique du déploiement et de la gestion des charges de travail de données sur Kubernetes, y compris Spark sur Kubernetes, les Operators et l'ordonnancement des ressources.

Solide compréhension des plateformes de stockage d'objets infonuagiques telles qu'Azure Blob Storage, Amazon S3 ou MinIO, y compris la cohérence du stockage et les caractéristiques de performance.

Compréhension approfondie de l'architecture Lakehouse moderne, y compris Iceberg, Spark, les services de catalogue et les écosystèmes de stockage d'objets.

Expérience avec au moins une plateforme de données infonuagique telle qu'Azure, Databricks ou Snowflake.

Solides compétences en génie logiciel et en programmation en Java, Scala ou Python.

Qualifications souhaitées Expérience dans la conception et la livraison de solutions de plateforme de données à l'échelle de l'entreprise, plutôt que d'applications d'affaires isolées.

Expérience pratique de la mise en œuvre de Lakehouse, de la modernisation de lacs de données ou d'initiatives de migration de plateformes.





Expérience avérée dans le déploiement et l'exploitation de plateformes de données à grande échelle sur Kubernetes.

Solide feuille de route dans le diagnostic et la résolution de problèmes de performance complexes dans les systèmes distribués.

Expérience dans la lecture, le débogage ou la contribution à des projets libres tels que Spark, Iceberg, Flink ou Trino.

Expérience pratique de l'application de technologies d'intelligence artificielle aux plateformes de données, y compris les agents de données (Data Agents), l'automatisation intelligente ou l'analytique assistée par l'IA.

Formation et expérience de travail Baccalauréat ou maîtrise en informatique, en génie logiciel, en systèmes d'information ou dans un domaine technique connexe.

Minimum de 3 ans d'expérience en ingénierie de plateformes de données à grande échelle ou en développement de systèmes de données distribués.

Expérience avérée dans la construction de solutions au niveau de la plateforme, plutôt que d'applications d'ingénierie de données propres à des besoins d'affaires.

Expérience de soutien d'environnements de données à l'échelle du pétaoctet ou de grappes informatiques distribuées à grande échelle fortement souhaitée.

Expérience dans la direction ou la participation à des projets de modernisation Lakehouse, de migration Hadoop ou de transformation de plateforme de données infonuagique native souhaitée.

Expérience dans la migration de plateformes basées sur Hadoop/HDFS vers des architectures infonuagiques natives et des solutions de stockage d'objets, un atout important.

Maîtrise du mandarin, un atout, particulièrement pour la collaboration avec des équipes d'ingénierie internationales réparties dans plusieurs régions. Rémunération : L'échelle salariale de base prévue pour ce poste se situe entre 70 000 $ et 105 000 $ par année.

La rémunération réelle sera déterminée en fonction de l'expérience, des compétences, des qualifications et des besoins de l'entreprise.

We are an Equal Chance Employer and do not discriminate on the basis of race, color, religion, sex, sexual orientation, gender identity, national origin, protected veteran status, disability, or any other legally protected status.

We are committed to creating an inclusive environment for all employees.

📌 Data Warehouse System Engineer (Ontario)
🏢 Hyve Solutions
📍 Ontario