Chez Poka, nous changeons la façon dont les équipes industrielles du monde entier travaillent — en captant le savoir de leurs meilleurs employés et en le mettant entre les mains de chaque opérateur.

Notre plateforme pour travailleurs connectés est conçue spécifiquement pour le secteur manufacturier et l'industrie au sens large, avec une IA industrielle intégrée au cœur du quart de travail, et non ajoutée par-dessus. Résultat : une performance de première ligne qui se transforme en savoir cumulatif et en impact mesurable — à chaque quart, sur chaque site, dans chaque région.

Nous sommes fiers d'accompagner des leaders mondiaux comme Nestlé, Bosch, Mars et Danone, dans plus de 3 000 sites répartis dans plus de 70 pays. Et en tant que division en forte croissance de la famille IFS, tu rejoindras une équipe dont le travail quotidien façonne directement la plateforme derrière le secteur manufacturier d'aujourd'hui.

Aperçu du poste

Notre équipe développe l'assistant IA intégré à Poka. Les travailleurs et les superviseurs l'utilisent chaque jour sur les planchers de production. On le construit avec des prompts, des outils, de la récupération d'information (retrieval) et des agents.

En tant que spécialiste en assurance qualité (QA) dans cette équipe, tu t'assures que ce qu'on livre fonctionne : les réponses de l'assistant et les fonctionnalités qui l'entourent. Tu le fais avec l'automatisation, l'IA et des outils que tu construis, pas avec des tests manuels. Tu travailles avec les devs, l'équipe produit et l'équipe design pour définir ce que « bon » veut dire, puis tu construis les evals, les tests automatisés et les outils qui le vérifient.

En quoi c'est différent de la QA traditionnelle

- Aucune passe de tests manuels.



Si quelque chose doit être vérifié plus d'une fois, tu l'automatises, avec du code, de l'IA ou l'outil qui convient.
- Une grande partie de ce que tu testes n'a pas de réponse unique. Une même question peut recevoir 50 bonnes réponses formulées différemment, et l'assistant peut répondre autrement d'une exécution à l'autre. Tu aides à définir ce que « bon » veut dire et à le mesurer.
- Tu écris du Python chaque semaine.

Si tu cherches un rôle axé sur les plans de test et les tests de régression manuels, ce n'est pas celui-ci.

- Automatiser la QA des fonctionnalités de l'équipe et construire les outils qui la facilitent, y compris des moyens pour que les non-développeurs puissent ajouter des evals et en analyser les résultats.
- Construire et maintenir des suites d'evals à partir de l'utilisation réelle : de vraies questions d'utilisateurs, le comportement attendu et les cas limites qui apparaissent en production.
- Définir avec l'équipe ce qu'est une bonne réponse pour nos utilisateurs, rédiger des grilles d'évaluation et utiliser le LLM-as-judge quand c'est pertinent, en le calibrant sur des échantillons étiquetés par des humains.
- Exécuter des vérifications de régression dans le CI chaque fois qu'on modifie un prompt, un outil, le retrieval ou la version du modèle Claude, en couvrant la qualité des réponses, les coûts et la rapidité.



Tu construis les garde-fous, les evals et les tests qui nous disent si on donne le feu vert à une mise en production ou non.
- Passer en revue de vraies conversations et regrouper les échecs par tendances : réponses inventées, mauvais appels d'outils, contexte manqué, ton inapproprié. Puis travailler avec les développeurs pour les transformer en correctifs.
- Contribuer aux tests adverses : injection de prompts, fuite de données entre clients, amener l'assistant à faire des choses qu'il ne devrait pas faire.
- Faire des tests exploratoires, dans un temps limité, sur les fonctionnalités qui changent ce que l'assistant peut décider ou faire, comme de nouveaux agents, outils ou actions, y compris vérifier que les actions restent sécuritaires quand quelque chose échoue ou est relancé.
- Participer aux lancements de fonctionnalités pour aider à définir les critères d'acceptation, y compris ceux propres à l'IA.
- AEC, DEC ou BAC dans un domaine lié au poste, ou expérience équivalente
- De 2 à 4 ans d'expérience pertinente
- Un parcours en automatisation des tests ou comme SDET
- Tu es à l'aise avec plusieurs langages de programmation, dont Python et TypeScript
- Une vraie curiosité pour le comportement des LLM et les raisons de leurs échecs
- Tu es à l'aise pour juger la qualité quand il n'y a pas de réponse unique, et pour expliquer ton raisonnement
- De la curiosité pour l'univers de nos utilisateurs. On ne peut pas juger une réponse sans comprendre ce dont un superviseur a réellement besoin sur un plancher de production.

Atouts

- Tu as aidé à mettre en place un harnais d'évaluation, même dans un projet personnel
- De l'exp

📌 Développeur·euse QA, Assistant IA (Montreal)
🏢 Poka FR
📍 Montreal