About us
(Version française ci-dessous) CertX Canada Inc., part of the SGS Group, specializes in artificial intelligence, cybersecurity, and technical advisory services. We help organizations adopt emerging technologies, address complex technical challenges, and build secure, reliable solutions. Our work combines strategic consulting with hands-on engineering and software development, serving clients across a range of industries. The role We are looking for a Senior AI Engineer to design, develop and improve production AI systems, with a focus on accuracy, reliability, performance and cost efficiency. You will own AI features end-to-end, from architecture and implementation to deployment, monitoring and continuous improvement. You will work in a small product team alongside technical leads and domain experts, translating real-world feedback into measurable improvements. We value engineers who take ownership, make sound technical decisions and deliver robust solutions with minimal supervision. Our technology stack includes:
- AI: LLMs, RAG, document processing, retrieval and agentic workflows
- Backend: Python APIs, SQL databases and multi-tenant access control
- Frontend: TypeScript web applications
- Cloud: Microsoft Azure, serverless services, containers, infrastructure as code and CI/CD Responsibilities
- Design, develop and optimize production LLM applications, including RAG, structured outputs, prompting and agentic workflows.
- Improve retrieval quality through document parsing, chunking, embeddings, hybrid search and reranking.
- Build evaluation datasets and automated tests to measure and improve AI accuracy, groundedness and reliability.
- Evaluate and select AI models, manage upgrades and optimize performance across providers.
- Monitor and optimize token usage, latency, rate limits and operational costs without compromising quality.
- Ensure AI outputs are explainable and traceable through source citations, transparent rationale and audit trails.
- Develop, deploy and maintain Azure services, infrastructure as code and CI/CD pipelines.
- Troubleshoot production issues using logs, metrics, distributed tracing and root-cause analysis.
- Implement secure, multi-tenant architectures with appropriate identity, access control, secrets management and data isolation.
- Deliver end-to-end features across backend and frontend components when required.
- Maintain clear technical documentation. Required qualifications
- 3-5+ years of software engineering experience, including hands-on experience with AI/ML or LLM systems in production.
- Solid Python development skills, including asynchronous programming, REST APIs and automated testing.
- Practical experience building RAG pipelines, including document processing, embeddings and vector/hybrid search.
- Experience evaluating LLM applications and demonstrating measurable improvements in quality.
- Strong hands-on Microsoft Azure experience, including deploying, operating and troubleshooting production workloads.
- Experience with infrastructure as code, CI/CD and production monitoring.
- Understanding of application security, data privacy and multi-tenant architectures.
- Strong communication skills and the ability to explain technical decisions and AI limitations to non-technical stakeholders.
- Ability to work independently, take ownership and deliver production-quality solutions. Nice to have
- Full-stack development experience with TypeScript and modern frontend frameworks.
- Experience with multiple LLM providers, open-weight models or fine-tuning.
- Experience with agent frameworks, tool calling and multi-step orchestration.
- Familiarity with enterprise software, regulated environments or security-sensitive applications.

What we offer

- Work on real-world AI systems with meaningful technical challenges.
- Ownership of AI architecture, quality and production delivery.




- A small, collaborative team with rapid decisions and minimal bureaucracy.
- Opportunities to work across AI engineering, cloud infrastructure and software development. Location and application
-

Location:
Montreal, QC (Hybrid)
- Employment: Full Time *CertX is an equal opportunity employer. We welcome applications from all qualified candidates.
* --------------------------------------------------------------------------------------------
-

À propos
de nous CertX Canada Inc., membre du Groupe SGS, se spécialise dans l’intelligence artificielle, la cybersécurité et les services de conseil technique. Nous accompagnons les organisations dans l’adoption de technologies émergentes, la résolution de défis techniques complexes et le développement de solutions sécurisées et fiables. Nos activités combinent le conseil stratégique, l’ingénierie et le développement logiciel, au service de clients issus de divers secteurs d’activité. Le poste Nous recherchons un(e) ingénieur(e) senior en intelligence artificielle pour concevoir, développer et améliorer des systèmes d’IA en production, en mettant l’accent sur la précision, la fiabilité, la performance et l’optimisation des coûts. Vous serez responsable du développement des fonctionnalités d’IA de bout en bout, depuis la conception de l’architecture et l’implémentation jusqu’au déploiement, à la surveillance et à l’amélioration continue. Vous évoluerez au sein d’une petite équipe de développement de produits, en collaboration avec des responsables techniques et des experts métier, afin de transformer les retours d’expérience en améliorations concrètes et mesurables. Nous recherchons des personnes autonomes, capables de prendre des décisions techniques éclairées, d’assumer leurs responsabilités et de livrer des solutions robustes avec un minimum de supervision. Notre environnement technologique comprend :
- Intelligence artificielle : grands modèles de langage (LLM), génération augmentée par récupération (RAG), traitement documentaire, recherche d’information et flux de travail reposant sur des agents d’IA.
- Développement backend : API Python, bases de données SQL et gestion des accès dans des architectures multilocataires.
- Développement frontend : applications web en TypeScript.
- Infonuagique : Microsoft Azure, services sans serveur, conteneurs, infrastructure en tant que code (IaC) et intégration et déploiement continus (CI/CD). Responsabilités
- Concevoir, développer et optimiser des applications basées sur les LLM en environnement de production, notamment les solutions RAG, les sorties structurées, les techniques de conception de requêtes (prompting) et les flux de travail utilisant des agents d’IA.
- Améliorer la qualité de la recherche d’information grâce à l’analyse et à l’extraction de documents, à leur segmentation, aux représentations vectorielles (embeddings), à la recherche hybride et au reclassement des résultats (reranking).
- Constituer des jeux de données d’évaluation et développer des tests automatisés pour mesurer et améliorer la précision, la fiabilité et la fidélité des réponses de l’IA aux sources utilisées.
- Évaluer et sélectionner les modèles d’IA, gérer leurs mises à jour et optimiser leurs performances auprès de différents fournisseurs.
- Surveiller et optimiser la consommation de jetons (tokens), les temps de réponse,



les limites de requêtes et les coûts opérationnels, sans compromettre la qualité.
- Assurer l’explicabilité et la traçabilité des résultats de l’IA grâce aux références aux sources, à des justifications claires et à des journaux d’audit.
- Développer, déployer et maintenir les services Azure, l’infrastructure en tant que code et les pipelines CI/CD.
- Diagnostiquer et résoudre les problèmes en production à l’aide des journaux, des métriques, du traçage distribué et de l’analyse des causes profondes.
- Mettre en œuvre des architectures multilocataires sécurisées, intégrant une gestion appropriée des identités, des contrôles d’accès, des secrets et de l’isolation des données.
- Développer, au besoin, des fonctionnalités complètes couvrant les composants backend et frontend.
- Maintenir une documentation technique claire et à jour. Qualifications requises
- De 3 à 5 ans d’expérience ou plus en développement logiciel, comprenant une expérience pratique des systèmes d’IA, d’apprentissage automatique ou des LLM en environnement de production.
- Excellente maîtrise de Python, notamment de la programmation asynchrone, des API REST et des tests automatisés.
- Expérience pratique dans le développement de pipelines RAG, incluant le traitement documentaire, les représentations vectorielles et la recherche vectorielle ou hybride.
- Expérience dans l’évaluation des applications LLM et la démonstration d’améliorations mesurables de leur qualité.
- Solide expérience pratique de Microsoft Azure, notamment dans le déploiement, l’exploitation et le dépannage de systèmes en production.
- Expérience avec l’infrastructure en tant que code, les pipelines CI/CD et la surveillance des environnements de production.
- Bonne compréhension de la sécurité applicative, de la protection des données et des architectures multilocataires.
- Excellentes aptitudes en communication et capacité à expliquer les décisions techniques et les limites de l’IA à des interlocuteurs non techniques.
- Capacité à travailler de manière autonome, à prendre des responsabilités et à livrer des solutions fiables et prêtes pour la production. Atouts supplémentaires
- Expérience en développement full-stack avec TypeScript et des frameworks frontend modernes.
- Expérience avec plusieurs fournisseurs de LLM, des modèles à poids ouverts ou des techniques d’ajustement fin (fine-tuning).
- Expérience avec les frameworks d’agents, les appels d’outils (tool calling) et l’orchestration de processus en plusieurs étapes.
- Connaissance des logiciels d’entreprise, des environnements réglementés ou des applications nécessitant un niveau élevé de sécurité. Ce que

nous offrons
- La possibilité de travailler sur des systèmes d’IA concrets présentant des défis techniques stimulants.
- Une réelle autonomie et des responsabilités dans l’architecture des solutions d’IA, leur qualité et leur mise en production.
- Une petite équipe collaborative, favorisant les décisions rapides et limitant les lourdeurs administratives.
- Des occasions de développer vos compétences dans plusieurs domaines, notamment l’ingénierie de l’IA, l’infrastructure infonuagique et le développement logiciel. Lieu de travail et candidature
- Lieu : Montréal, Québec (mode hybride).
- Type d’emploi : Temps plein, permanent. *CertX souscrit au principe de l’égalité des chances en matière d’emploi. Nous invitons toutes les personnes possédant les qualifications requises à soumettre leur candidature.
* Pay: $100,000.00-$130,000.00 per year

Benefits:
- Casual dress
- Company events
- Dental care
- Extended health care
- Paid time off
- RRSP match
- Tuition reimbursement
- Vision care
- Work from home Work

Location:
Hybrid remote in Montréal, QC

📌 Senior AI Engineer (Montreal)
🏢 CertX
📍 Montreal