Description du poste

Le groupe IA de RBC développe des capacités d’IA sûres pour l’entreprise, et l’évaluation est l’un des éléments de contrôle de base qui rend cela possible. À titre d’expert en science des données au sein de l’équipe Évaluations, IA, vous serez un responsable principal technique chevronné au sein de l’unité fonctionnelle de la science des données. Vous serez responsable de définir la manière dont RBC évalue la qualité, la sécurité, le risque et le rendement de ses modèles et agents. Vous verrez à concevoir, élaborer et perfectionner de façon continue les ensembles de données d’évaluation, les méthodes de sourçage, la conception des méthodes « LLM-as-a-Judge », les critères d’évaluation déterministes, les protocoles d’évaluation humaine, les étalons de qualité et les cadres de mesure qui permettent aux systèmes d’IA de passer de l’expérimentation à la production avec des preuves et des contrôles, tout en fournissant des conseils techniques et du mentorat aux autres experts en science des données de l’équipe.

Responsabilités

- Concevoir et mettre à profit des méthodes d’évaluation avancées des modèles et des agents, y compris des ensembles de données d’évaluation, des grilles d’évaluation, des méthodes LLM-as-a-Judge, des critères d’évaluation déterministes, des évaluations humaines et des cadres de mesure, en fournissant des conseils techniques aux membres moins expérimentés de l’équipe.
- Définir des normes scientifiques d’évaluation qui traduisent le risque des modèles, l’IA responsable, la qualité des produits, la sécurité et les attentes commerciales en critères mesurables, en méthodes reproductibles et en preuves concrètes.




- Assumer la responsabilité de l’ensemble du cycle de vie de l’évaluation des ensembles de données et des feuilles de pointage, ce qui comprend notamment le sourçage, la conservation, la validation, le contrôle de qualité, le contrôle des versions, la filiation, la réutilisation et l’amélioration continue.
- Concevoir des approches d’évaluation évolutives pour l’IA générative et les systèmes agents, y compris des méthodes d’évaluation au niveau des tâches, du flux des travaux, des trajectoires et de l’exécution.
- Collaborer avec les équipes de recherche en intelligence artificielle, d’ingénierie de plateforme, de produit, de gestion du risque, de gouvernance et organisationnelle pour intégrer les évaluations aux flux de travail de création, de mise en œuvre, de certification, de surveillance et de recertification.
- Établir des évaluations humaines et des protocoles d’examen qui produisent des étiquettes, des directives de réviseur, des processus de décision de crédit, des contrôles de qualité et des éléments probants prêts à être vérifiés.
- Évaluer et améliorer la précision, le calibrage, la robustesse, la couverture en mode échec et l’explicabilité des outils d’évaluation automatisés et humains.
- Assurer un leadership technique clair, une communication de grande qualité et du mentorat auprès des experts en science des données débutants pour aider RBC à développer l’IA de confiance avec rapidité, rigueur et contrôle.




- Communiquer et interagir fréquemment avec des partenaires et/ou le personnel de RBC de partout au Canada ou dans le monde.
- Dans le cadre de ce rôle, vous communiquerez et interagirez fréquemment avec des partenaires et des collègues au Canada ou ailleurs dans le monde.

Exigences

- Au moins huit ans d’expérience en science des données, en apprentissage machine appliqué, en évaluation de l’IA, en qualité de l’apprentissage machine ou dans un domaine technique connexe, et expérience en leadership technique et en mentorat au sein d’une équipe.
- Solide expérience dans l’élaboration de cadres d’évaluation pour les systèmes d’apprentissage machine, d’IA générative ou d’IA agentive, notamment les paramètres, les ensembles de données, les étalons, les grilles d’évaluation et les mesures de la qualité.
- Expérience pratique des méthodes d’évaluation des modèles d’apprentissage tels que l’appréciation des modèles d’apprentissage, la notation déterministe, l’évaluation humaine, l’évaluation des intentions, l’évaluation de la sécurité et l’étalonnage de la qualité des modèles.
- Solides connaissances techniques en science des données, en statistiques, en apprentissage automatique, en expérimentation, en conservation de données, en Python, en SQL et en pratiques modernes de développement liées à l’intelligence artificielle et à l’apprentissage machine.
- Capacité avérée à traduire les exigences liées à la gouvernance, au risque de modèle, à l’IA responsable et aux besoins opérationnels en contrôles mesurables, en processus d’évaluation reproductibles et en données probantes permettant la prise de décision.
- Solides aptitudes pour la communication et la gestion des parties prenantes, e

📌 Expert en science des données, Plateforme d’évaluation IA- FR (Canada)
🏢 RBC
📍 Canada