Description du poste

Le groupe IA de RBC développe des capacités d’IA sûres pour l’entreprise, et l’évaluation est l’un des éléments de contrôle de base qui rend cela possible. À titre d’expert en science des données au sein de l’équipe Évaluations, IA, vous serez un responsable principal technique chevronné au sein de l’unité fonctionnelle de la science des données. Vous serez responsable de définir la manière dont RBC évalue la qualité, la sécurité, le risque et le rendement de ses modèles et agents. Vous verrez à concevoir, élaborer et perfectionner de façon continue les ensembles de données d’évaluation, les méthodes de sourçage, la conception des méthodes « LLM-as-a-Judge », les critères d’évaluation déterministes, les protocoles d’évaluation humaine, les étalons de qualité et les cadres de mesure qui permettent aux systèmes d’IA de passer de l’expérimentation à la production avec des preuves et des contrôles, tout en fournissant des conseils techniques et du mentorat aux autres experts en science des données de l’équipe.Responsabilités

- Concevoir et mettre à profit des méthodes d’évaluation avancées des modèles et des agents, y compris des ensembles de données d’évaluation, des grilles d’évaluation, des méthodes LLM-as-a-Judge, des critères d’évaluation déterministes, des évaluations humaines et des cadres de mesure, en fournissant des conseils techniques aux membres moins expérimentés de l’équipe.
- Définir des normes scientifiques d’évaluation qui traduisent le risque des modèles, l’IA responsable, la qualité des produits, la sécurité et les attentes commerciales en critères mesurables, en méthodes reproductibles et en preuves concrètes.




- Assumer la responsabilité de l’ensemble du cycle de vie de l’évaluation des ensembles de données et des feuilles de pointage, ce qui comprend notamment le sourçage, la conservation, la validation, le contrôle de qualité, le contrôle des versions, la filiation, la réutilisation et l’amélioration continue.
- Concevoir des approches d’évaluation évolutives pour l’IA générative et les systèmes agents, y compris des méthodes d’évaluation au niveau des tâches, du flux des travaux, des trajectoires et de l’exécution.
- Collaborer avec les équipes de recherche en intelligence artificielle, d’ingénierie de plateforme, de produit, de gestion du risque, de gouvernance et organisationnelle pour intégrer les évaluations aux flux de travail de création, de mise en œuvre, de certification, de surveillance et de recertification.
- Établir des évaluations humaines et des protocoles d’examen qui produisent des étiquettes, des directives de réviseur, des processus de décision de crédit, des contrôles de qualité et des éléments probants prêts à être vérifiés.
- Évaluer et améliorer la précision, le calibrage, la robustesse, la couverture en mode échec et l’explicabilité des outils d’évaluation automatisés et humains.
- Assurer un leadership technique clair, une communication de grande qualité et du mentorat auprès des experts en science des données débutants pour aider RBC à développer l’IA de confiance avec rapidité, rigueur et contrôle.
- Communiquer et interagir fréquemment avec des partenaires et/ou le personnel de RBC de partout au Canada ou dans le monde.
- Dans le cadre de ce rôle, vous communiquerez et interagirez fréquemment avec des partenaires et des collègues au Canada ou ailleurs dans le monde.

Exigences
- Au moins huit ans d’expérience en science des données, en apprentissage machine appliqué, en évaluation de l’IA, en qualité de l’apprentissage machine ou dans un do

📌 Expert En Science Des Données, Plateforme D’évaluation Ia- Fr (Montreal West)
🏢 RBC
📍 Montreal West