Dayforce est une entreprise internationale de gestion du capital humain (GCH) dont le siège social est situé à Toronto (Ontario) et à Minneapolis (Minnesota), et qui opère en Amérique du Nord, en Europe, au Moyen-Orient et en Afrique (EMEA), ainsi que dans la région Asie-Pacifique et Japon (APJ).Notre plateforme GCH Cloud primée offre une base de données unifiée et un moteur de calcul continu, optimisant ainsi l'efficacité, la productivité et la conformité des effectifs à l'échelle mondiale.Notre promesse de marque – Améliorer la vie au travail – témoigne de notre engagement envers nos employés, nos clients, nos partenaires et les communautés du monde entier.À propos de l’opportunitéNous recherchons un(e) ingénieur(e) IA senior – Évaluation des systèmes agentiques pour contribuer à définir la façon dont nous mesurons, testons et améliorons la qualité des systèmes d’IA d’entreprise.Alors que l’IA évolue des assistants conversationnels et de la génération augmentée par récupération (RAG) vers des agents utilisant des outils, des systèmes multi-agents et des flux de travail métier autonomes, évaluer uniquement la réponse finale ne suffit plus.Un agent peut obtenir la bonne réponse tout en choisissant le mauvais outil, en effectuant des étapes inutiles, en récupérant un contexte incorrect, en omettant de recourir à un humain ou en enfreignant des règles métier.Ce poste consistera à élaborer les cadres d’évaluation nécessaires pour comprendre non seulement si un système d’IA a réussi, mais aussi comment il a réussi, avec quelle fiabilité il peut reproduire ce résultat, et si l’architecture est adaptée au problème.Ce que vous allez faireÉlaborer des cadres d’évaluation agentiqueConcevoir des méthodologies d’évaluation couvrant l’ensemble du cycle d’exécution de l’IA :Intention → Planification → Récupération → Utilisation des outils → Raisonnement → Action → Résultat métierÉvaluer les systèmes selon des dimensions telles que :précision des tâches et des résultats métierqualité de la planification et de la prise de décisionqualité de la récupération et ancrage factuelsélection et exécution des outilsroutage et délégation entre agentsdé décisions d’escalade vers un humainfiabilité et reprise après défaillancesécurité et conformité aux politiqueslatence, consommation de jetons et coûtÉvaluer les modèles de conception agentiqueConcevoir des expériences et des benchmarks qui aident les équipes d’ingénierie à déterminer quelle architecture convient le mieux à un problème donné.Évaluer des modèles tels que :Systèmes à agent unique vs systèmes multi-agentsArchitectures superviseur/routeurModèles planificateur–exécuteurFlux de travail séquentiels et parallèlesAgents utilisant des outilsFlux de travail avec intervention humaine (human-in-the-loop)Agents de longue durée avec état et mémoireMesurer si la complexité supplémentaire des agents améliore réellement la réussite des tâches, la fiabilité et les résultats métier suffisamment pour justifier l’augmentation de la latence, des coûts et de la complexité opérationnelle.Faire progresser l’évaluation du RAG et des connaissancesÉlaborer des approches d’évaluation rigoureuses pour les systèmes de récupération et de connaissances en entreprise, notamment :précision et pertinence de la récupérationancrage factuel et exactitude des citationsautorité et actualité des sourcesstratégies de découpage,



de métadonnées et d’indexationrecherche sémantique vs hybride et reclassementrécupération tenant compte des autorisationsÉvaluer l’impact final des décisions de récupération sur la performance des agents en aval, plutôt que de traiter l’évaluation du RAG comme un problème isolé.Mettre en place des tests d’évaluation automatisés et de non-régressionDévelopper une infrastructure d’évaluation évolutive, notamment :jeux de données de référence (golden) et synthétiquessuites de tests de scénarios et de tests adversesévaluateurs déterministesévaluation par LLM-as-a-Judgeprocessus d’évaluation humaineévaluation basée sur les tracestests de non-régression automatisésIntégrer les évaluations aux pipelines de développement et de mise en production de l’IA afin que les modifications apportées aux modèles, aux prompts, à la récupération, aux outils ou aux architectures d’agents puissent être mesurées avant leur mise en production.Mettre en place l’analyse des traces et des défaillances des agentsAnalyser les traces d’exécution complètes des agents, y compris la planification, le contexte récupéré, les appels d’outils, les transferts, les nouvelles tentatives, les exceptions, la latence et le coût.Défaillances du modèle | de la récupération | de la planification | des outils | du routage | de la mémoire | de l’intégration | des politiques | de l’orchestrationTransformer les défaillances en production et les retours des utilisateurs en tests de non-régression mesurables et en améliorations d’ingénierie.Définir la qualité de l’IA en productionÉtablir des normes de qualité mesurables et des critères de mise en production pour les systèmes d’IA.Les indicateurs peuvent inclure : taux de réussite des tâches, taux de réussite au premier passage, précision de la sélection des outils, précision du routage des agents, fidélité d’exécution du plan, taux de reprise après défaillance, précision des escalades vers un humain, précision des résultats métier, coût / latence par tâche réussieAider les équipes à répondre à une question fondamentale :Ce système d’IA est-il suffisamment fiable, sûr, efficace et utile pour être exploité en production ?Compétences et expérience que nous valorisonsSolide expérience avec :Python et génie logicielDéveloppement d’applications LLMÉvaluation et expérimentation en IA/MLtests automatisés et analyse de donnéesRAG, embeddings, recherche hybride et reclassementappel d’outils/de fonctions et sorties structuréesorchestration d’agents et flux de travail multi-agentsObservabilité et traçage de l’IAAPI et intégrations d’entrepriseUne expérience avec des plateformes ou des frameworks tels qu’Agents SDK, LangGraph/LangChain, Microsoft AI Foundry, Amazon Bedrock ou d’autres plateformes d’agents similaires est un atout.Vous devez être à l’aise avec des techniques d’évaluation telles que les évaluations hors ligne/en ligne, les évaluateurs déterministes, les évaluateurs basés sur des modèles, l’évaluation humaine,



les jeux de données synthétiques et les tests adverses.Ce qui vous distingueraVous ne vous arrêtez pas lorsqu’un agent termine une tâche avec succès. Vous vous demandez :A-t-il choisi la bonne approche ?A-t-il utilisé les bons outils et les bonnes informations ?Peut-il réussir de manière constante ?Peut-il se rétablir en cas de défaillance ?L’ajout d’agents a-t-il amélioré le résultat ?Une architecture plus simple aurait-elle pu obtenir le même résultat ?Combien le résultat obtenu a-t-il coûté ?Vous transformez ces questions en expériences mesurables qui aident les équipes d’ingénierie à créer de meilleurs systèmes d’IA.Pourquoi ce poste est importantL’IA d’entreprise passe de systèmes qui répondent à des questions à des systèmes qui prennent des décisions et effectuent du travail.Cela change la manière dont la qualité doit être mesurée.La prochaine génération d’évaluation de l’IA doit mesurer :Ce que le système a compris → ce qu’il a récupéré → ce qu’il a décidé → ce qu’il a fait → et si le résultat métier était correct.Ce poste contribuera à établir la discipline d’ingénierie nécessaire pour rendre ces systèmes mesurables, fiables et prêts pour la production.Qu'est-ce que ça vous apporte ?Chez Dayforce, la diversité de nos talents est notre moteur. Nous sommes un employeur qui prône l'égalité des chances et nous valorisons chaque individu et ce qui le rend unique. Nous croyons que nos employés doivent être heureux, en santé, sereins et épanouis.Nous encourageons les candidatures en fonction de leurs passions.Dayforce favorise le développement personnel et professionnel. Nous offrons d'excellents programmes de congés, des initiatives de bien-être complètes et une reconnaissance de vos efforts grâce à une rémunération et des avantages sociaux compétitifs.Engagés auprès de la communauté, notamment par le biais de journées de bénévolat et de notre organisme de bienfaisance, Dayforce Cares, nous vous offrons des occasions de vous épanouir tant professionnellement que personnellement. Notre priorité n'est pas seulement votre travail, mais aussi votre développement personnel.Cette offre d'emploi est pour un poste vacant.À propos des échelles salarialesVeuillez noter que l'échelle salariale mentionnée dans cette description de poste est fourni à titre indicatif. La rémunération finale proposée peut varier en fonction de divers facteurs, notamment les primes et/ou les incitatifs, ou encore l'expérience, les compétences, le budget et le lieu de résidence du candidat. Notre entreprise s'engage à offrir une rémunération juste, équitable et compétitive qui reflète la valeur ajoutée de chaque individu pour l'organisation.La maîtrise de l'anglais est essentielle pour ce poste, car le titulaire interagira régulièrement avec des interlocuteurs, collègues, responsables et/ou clients anglophones à travers le monde. De plus, nos équipes de soutien, notamment les ressources humaines, sont principalement anglophones. Les employés doivent être capables de communiquer en anglais avec ces services afin de gérer efficacement leurs relations professionnelles. Compte tenu du volume key d'interactions avec ces interlocuteurs anglophones, inhérent à ce poste, il est impossible de réorganiser les activités de l'entreprise pour éviter cette exigence.If you would like to view the job posting in English use the following link: mydayforce/alljobs#J-18808-Ljbffr

📌 Ingénieur(E) Ia Senior (Toronto)
🏢 Dayforce
📍 Toronto