------------------- English will follow --------------------

Développez une IA qui transforme le secteur de la santé

Voxira est une start-up spécialisée dans l'IA, fondée par des professionnels de santé afin de développer des technologies adaptées et conformes aux exigences du secteur de la santé. Notre plateforme d'IA aide les cliniques à réduire leur charge administrative, à améliorer l'accès aux soins et à permettre aux équipes soignantes de consacrer davantage de temps à ce qui compte le plus : les patients. La sécurité, la fiabilité et l'innovation sont au cœur de tout ce que nous développons.

À propos du poste

Veillez à ce que les agents d'IA de Voxira fonctionnent avec exactitude et fiabilité en production grâce à des essais structurés, à la validation des comportements et au soutien technique, tout en assurant une relève auprès des comptes clients lorsque nécessaire.

Responsabilités

- Valider le comportement des agents d'IA par rapport aux flux, à la logique et aux résultats attendus approuvés pour chaque client.
- Effectuer des tests de régression et de mise en production lors des mises à jour du produit.
- Réaliser des audits continus en production afin de confirmer que les agents d'IA continuent de respecter avec exactitude les flux et comportements pour lesquels ils ont été entraînés, et signaler toute dérive ou régression.
- Analyser le comportement des requêtes et des modèles afin de déterminer les causes fondamentales des inexactitudes et de recommander des correctifs.
- Fournir du soutien technique de niveaux 1 et 2.
- Enquêter sur les incidents en production et les résoudre.
- Élaborer des méthodologies d'assurance qualité et des actifs de test réutilisables.
- Collaborer avec l'équipe d'ingénierie à l'amélioration de la qualité du produit et à l'optimisation du système.
- Agir comme point de contact de relève pour les comptes clients pendant l'absence du spécialiste de l'implantation, afin d'assurer la continuité sans prendre en charge la gestion courante des comptes.
- Écrire des scripts de tests automatisés et du code de validation en Python ou en JavaScript/TypeScript afin de soutenir les tests de régression et de mise en production.
- Collaborer à l'établissement de protocoles de validation permettant de confirmer que les résultats produits par l'IA — y compris les résumés générés par NoteGen — reflètent fidèlement les procédures opérationnelles normalisées (SOP)



de chaque client et sont exacts sur le plan factuel, en conformité avec les normes de sécurité des données de santé (notamment la certification TGV — Trousse globale de vérification du MSSS pour la sécurité et la confidentialité des logiciels de santé au Québec — et HIPAA).

Qualifications requises

- Au moins 5 ans d'expérience en assurance qualité, en tests logiciels ou en soutien technique.
- Expérience avec des produits SaaS.
- Solides aptitudes en analyse et en dépannage, et aisance avec des méthodes d'essai structurées et méthodiques.
- Excellente maîtrise de Node, Python ou JavaScript/TypeScript, ainsi qu'une expérience dans la création ou la maintenance de suites de tests automatisés.
- Expérience avec les API ou l'IA souhaitable.
- Expérience démontrée dans l'évaluation des grands modèles de langage (LLM) : tests d'exactitude factuelle, évaluation de l'alignement aux procédures opérationnelles normalisées (SOP), détection des biais et des enjeux d'équité, ainsi que tests de stabilité sémantique. Connaissance des cadres d'évaluation de type « LLM comme juge » ou de référentiels personnalisés.
- Capacité à diagnostiquer des problèmes dans des données non structurées, notamment les journaux et les transcriptions de conversations, puis à utiliser la visualisation des données pour analyser les erreurs.
- Approche axée sur les résultats, privilégiant la valeur d'affaires, la fiabilité et la confiance des utilisateurs plutôt que la easy conformité aux processus.

Technologies Node, Python, JavaScript/TypeScript, Langfuse, LangChain, AWS, Docker, GitHub Actions, CloudWatch, Jira et Confluence.

Build AI that transforms healthcare

Voxira is a fast-growing AI startup founded by clinicians to build practical, compliant technology for healthcare. Our AI platform helps clinics reduce administrative burden, improve access to care, and give healthcare teams more time for what matters most: patients. Security, reliability, and innovation are at the core of everything we build.

About the Role





Ensure Voxira's AI agents perform accurately and reliably in production through structured testing, behavioral validation, & technical support and serve as backup coverage for client accounts when needed.

Responsibilities

- Validate AI agent behavior against approved client-specific flows, logic, and expected outcomes.
- Perform regression and release testing across product updates.
- Conduct ongoing production audits to confirm AI agents continue to accurately follow trained flows and behaviors, flagging drift or regressions.
- Analyze prompt and model behavior to identify root causes of inaccuracies and recommend corrections.
- Provide Level 1 and Level 2 technical support.
- Investigate and troubleshoot production issues.
- Develop reusable QA methodologies and test assets.
- Collaborate with Engineering on product quality and system optimization.
- Serve as backup point of contact for client accounts during the Implementation Specialist's absence, maintaining continuity without assuming ongoing account ownership.
- Write automated test scripts and validation code (Python or JavaScript/TypeScript) to support regression and release testing.
- Collaborate on establishing validation protocols to confirm AI outputs — including NoteGen's generated summaries — accurately reflect each client's SOPs and are factually accurate, in compliance with health data security standards (e.g., TGV — Québec's MSSS security and confidentiality certification for health-sector software — and HIPAA).

Qualifications

- 5+ years in QA, software testing, or technical support.
- Experience with SaaS products.
- Analytical troubleshooting skills; comfort with structured/methodical testing approaches.
- Strong proficiency in Node, Python, or JavaScript/TypeScript; experience building or maintaining automated test suites.
- API or AI experience is desirable.
- Experience evaluating Large Language Models (LLMs): factual accuracy testing, SOP-alignment assessment, bias/fairness detection, and semantic stability testing. Familiarity with 'LLM-as-a-judge' evaluation frameworks or custom benchmarks.
- Ability to diagnose issues across unstructured data (logs, conversation transcripts) and use data visualization for error analysis.
- Outcome-driven mindset: focused on prioritizing business value, reliability, and user trust over process adherence alone.

Technologies Node, Python, JavaScript/TypeScript, Langfuse, LangChain, AWS, Docker, GitHub Actions, CloudWatch, Jira, Confluence.

📌 AI QA & Reliability Specialist (Montreal)
🏢 Voxira
📍 Montreal