Ingénieur(e) de plateforme de données (DevOps)

Ingénieur(e) de plateforme de données (DevOps)

29 Aug
|
Tecsys
|
Montreal

29 Aug

Tecsys

Montreal

Responsabilites

Ayant reconnu les avantages du travail a distance, notamment en matiere de moral des employes, de productivite, de reduction des deplacements et de bien-etre des employes ainsi que de l'environnement, nous sommes fiers d'etre une entreprise axee sur le numerique. Les technologies et les programmes dans lesquels nous avons investi nous ont permis de batir une excellente base pour soutenir cette approche. Notre environnement de travail numerique, combine a nos bureaux facilement accessibles et a nos espaces de collaboration, offre a notre equipe la liberte et la flexibilite de travailler de la maniere qui favorise le mieux leur productivite.

À propos de nous

Tecsys est une entreprise innovante en pleine croissance qui offre des solutions de gestion de la chaine d'approvisionnement aux principaux systemes de sante, hopitaux et entreprises pharmaceutiques, ainsi qu'aux distributeurs, detaillants et fournisseurs de services logistiques tiers (3PL). Nous collaborons avec des leaders de l'industrie afin de transformer leurs chaines d'approvisionnement grace a la technologie. Si vous aimez relever des defis stimulants et evoluer dans un environnement favorisant l'apprentissage continu, Tecsys pourrait etre l'entreprise qui vous convient!

Nous sommes a la recherche d'un(e) Ingenieur(e) de plateforme de donnees (DevOps) pour rejoindre notre equipe TecsysIQ Data & AI . Il s'agit d'un role hybride qui consiste a developper et exploiter la plateforme de donnees infonuagique qui alimente nos produits d'analytique et d'intelligence artificielle bases sur Databricks et AWS .

Vous serez responsable de l'infrastructure en tant que code et des pipelines de livraison qui permettent de provisionner et de deployer la plateforme, ainsi que des taches Databricks et des pipelines de diffusion en continu qui deplacent et transforment les donnees. Vous collaborerez etroitement avec les developpeurs de la plateforme de donnees, les equipes de developpement d'applications et les proprietaires de produits afin de mettre en place de nouveaux environnements clients, faire evoluer les processus CI/CD et de gestion des versions, et creer et maintenir les pipelines de donnees assurant la fiabilite et l'evolutivite de la plateforme.

Si vous etes aussi a l'aise pour ecrire du code Terraform que pour deboguer une tache Spark Structured Streaming, ce poste est pour vous.



Responsabilites

Plateforme & DevOps

  • Provisionner et faire evoluer les comptes et espaces de travail AWS et Databricks a l'aide de Terraform dans plusieurs regions et environnements, tout en gerant l'etat distant et les configurations propres a chaque environnement
  • Prendre en charge les charts Helm et les taches Kubernetes utilisees pour integrer de nouveaux environnements clients et deployer la couche applicative sur les espaces de travail provisionnes
  • Creer et maintenir des images Docker ainsi que les pipelines de compilation Java/Maven, et publier les artefacts dans les registres internes d'artefacts et de conteneurs
  • Integrer les processus de compilation, de tests et de deploiement dans les pipelines CI/CD, tout en ameliorant la gestion des versions et des livraisons dans plusieurs depots de code interconnectes
  • Gerer les secrets et les informations d'identification de maniere securisee a l'aide des services infonuagiques de gestion des secrets et de Kubernetes — sans jamais les stocker dans le code source

Plateforme de donnees & Pipelines

  • Concevoir, developper et maintenir des taches et pipelines Databricks, incluant la curation des donnees, les transformations et les processus de chargement initial en masse
  • Developper et exploiter des pipelines de diffusion en continu en temps reel et de capture des changements de donnees (CDC) a travers les couches d'ingestion et de transformation a l'aide de Spark Structured Streaming
  • Developper et faire evoluer les flux de donnees de bout en bout a travers les couches Bronze, Silver et Gold, en adaptant les pipelines pour gerer de nouvelles sources de donnees et les changements de schema au fur et a mesure de la croissance de la plateforme
  • Developper et maintenir des composants et frameworks de pipelines reutilisables afin d'integrer rapidement de nouveaux flux de donnees
  • Optimiser les clusters et les entrepots SQL Databricks pour ameliorer les couts et les performances, tout en assurant la gestion des catalogues,



    des schemas et des acces dans differents environnements
  • Collaborer avec les developpeurs de la plateforme de donnees, les proprietaires de produits et les parties prenantes d'affaires dans un environnement Agile afin de livrer des produits de donnees de haute qualite

Requirements

Qualifications

  • Experience pratique avec Databricks et Apache Spark, incluant la creation de pipelines de donnees en mode batch ou en temps reel (obligatoire)
  • Solides competences avec Terraform et experience dans la gestion d'infrastructures infonuagiques sur AWS
  • Connaissance pratique de Kubernetes et Helm, ainsi que de la conteneurisation avec Docker
  • Maitrise de Python (PySpark) et/ou Java, ainsi que de solides competences en SQL pour la validation des donnees et le depannage
  • Experience avec les flux de travail bases sur Git et les pipelines CI/CD dans un environnement comportant plusieurs depots de code
  • Comprehension des concepts lies a la qualite des donnees, aux processus ETL/ELT et a l'observabilite des donnees
  • Experience de travail dans des equipes Agile en collaboration avec des developpeurs de plateformes de donnees et des proprietaires de produits
  • Excellentes capacites d'analyse, de resolution de problemes et de communication

Nous comprenons que l'experience peut prendre plusieurs formes et que les parcours professionnels ne sont pas toujours lineaires. Si vous ne repondez pas a toutes les exigences de cette offre d'emploi, nous vous encourageons tout de meme a soumettre votre candidature.

Chez Tecsys, nous nous engageons a favoriser un milieu de travail diversifie et inclusif ou tous les employes se sentent valorises, respectes et habilites a reussir. Nous croyons que la diversite stimule l'innovation et renforce notre capacite a offrir des solutions exceptionnelles. Nous accueillons et encourageons les candidatures de personnes de tous horizons, ayant des experiences et des perspectives variees, a se joindre a notre equipe.

Tecsys souscrit au principe de l'egalite des chances en matiere d'emploi. Des mesures d'adaptation sont offertes aux candidats selectionnes pour une entrevue.

Remarque :

Pour postuler à ce poste, vous devez être citoyen(ne) canadien(ne) , résident(e) permanent(e) du Canada ou détenir un permis de travail canadien valide .

#J-18808-Ljbffr

📌 Ingénieur(e) de plateforme de données (DevOps)
🏢 Tecsys
📍 Montreal

Reply to this offer

Impress this employer describing Your skills and abilities, fill out the form below and leave Your personal touch in the presentation letter.

Subscribe to this job alert:

Get the latest job offers by email for: ingénieur(e) de plateforme de données (devops) / montreal