Dayforce est une entreprise internationale de gestion du capital humain (GCH) dont le siège social est situé à Toronto (Ontario) et à Minneapolis (Minnesota), et qui opère en Amérique du Nord, en Europe, au Moyen-Orient et en Afrique (EMEA), ainsi que dans la région Asie-Pacifique et Japon (APJ).

Notre plateforme GCH Cloud primée offre une base de données unifiée et un moteur de calcul continu, optimisant ainsi l'efficacité, la productivité et la conformité des effectifs à l'échelle mondiale.

Notre promesse de marque – Améliorer la vie au travail – témoigne de notre engagement envers nos employés, nos clients, nos partenaires et les communautés du monde entier.

À propos de l’opportunité

Nous recherchons un(e) ingénieur(e) IA senior – Évaluation des systèmes agentiques pour contribuer à définir la façon dont nous mesurons, testons et améliorons la qualité des systèmes d’IA d’entreprise.

Alors que l’IA évolue des assistants conversationnels et de la génération augmentée par récupération (RAG) vers des agents utilisant des outils, des systèmes multi-agents et des flux de travail métier autonomes, évaluer uniquement la réponse finale ne suffit plus.

Un agent peut obtenir la bonne réponse tout en choisissant le mauvais outil, en effectuant des étapes inutiles, en récupérant un contexte incorrect, en omettant de recourir à un humain ou en enfreignant des règles métier.

Ce poste consistera à élaborer les cadres d’évaluation nécessaires pour comprendre non seulement si un système d’IA a réussi, mais aussi comment il a réussi, avec quelle fiabilité il peut reproduire ce résultat, et si l’architecture est adaptée au problème.

Ce que vous allez faire

Élaborer des cadres d’évaluation agentique





Concevoir des méthodologies d’évaluation couvrant l’ensemble du cycle d’exécution de l’IA :

Intention → Planification → Récupération → Utilisation des outils → Raisonnement → Action → Résultat métier

Évaluer les systèmes selon des dimensions telles que :

- précision des tâches et des résultats métier
- qualité de la planification et de la prise de décision
- qualité de la récupération et ancrage factuel
- sélection et exécution des outils
- routage et délégation entre agents
- dé décisions d’escalade vers un humain
- fiabilité et reprise après défaillance
- sécurité et conformité aux politiques
- latence, consommation de jetons et coût

Évaluer les modèles de conception agentique

Concevoir des expériences et des benchmarks qui aident les équipes d’ingénierie à déterminer quelle architecture convient le mieux à un problème donné.

Évaluer des modèles tels que :

- Systèmes à agent unique vs systèmes multi-agents
- Architectures superviseur/routeur
- Modèles planificateur–exécuteur
- Flux de travail séquentiels et parallèles
- Agents utilisant des outils
- Flux de travail avec intervention humaine (human-in-the-loop)
- Agents de longue durée avec état et mémoire

Mesurer si la complexité supplémentaire des agents améliore réellement la réussite des tâches,



la fiabilité et les résultats métier suffisamment pour justifier l’augmentation de la latence, des coûts et de la complexité opérationnelle.

Faire progresser l’évaluation du RAG et des connaissances

Élaborer des approches d’évaluation rigoureuses pour les systèmes de récupération et de connaissances en entreprise, notamment :

- précision et pertinence de la récupération
- ancrage factuel et exactitude des citations
- autorité et actualité des sources
- stratégies de découpage, de métadonnées et d’indexation
- recherche sémantique vs hybride et reclassement
- récupération tenant compte des autorisations

Évaluer l’impact final des décisions de récupération sur la performance des agents en aval, plutôt que de traiter l’évaluation du RAG comme un problème isolé.

Mettre en place des tests d’évaluation automatisés et de non-régression

Développer une infrastructure d’évaluation évolutive, notamment :

- jeux de données de référence (golden) et synthétiques
- suites de tests de scénarios et de tests adverses
- évaluateurs déterministes
- évaluation par LLM-as-a-Judge
- processus d’évaluation humaine
- évaluation basée sur les traces
- tests de non-régression automatisés

Intégrer les évaluations aux pipelines de développement et de mise en production de l’IA afin que les modifications apportées aux modèles, aux prompts, à la récupération, aux outils ou aux architectures d’agents puissent être mesurées avant leur mise en production.

Mettre en place l’analyse des traces et des défaillances des agents

Analyser les traces d’exécution complètes des agents, y compris la planifica

📌 Ingénieur(e) IA senior (Toronto)
🏢 Dayforce
📍 Toronto