Les tests de risques liés à l’IA révèlent les failles cachées de l’IA générative
L’intelligence artificielle générative peut classer des candidats, répondre aux questions des clients ou faciliter la prise de décision en interne. Cette vitesse est utile, mais risquée lorsque le même système se comporte différemment après de petites modifications de la formulation, de la langue ou du contexte. Les entreprises doivent trouver les défaillances et prouver que les risques ont été testés et gérés. Le projet QuantPi(s’ouvre dans une nouvelle fenêtre), financé par le CEI, a développé une plateforme pour la gestion des risques liés à l’IA générative. Sa technologie PiCrystal crée automatiquement des suites de tests, vérifie le comportement des modèles et transforme les sorties en documentation et en preuves prêtes à être auditées, conformément à des règles telles que le règlement sur l’intelligence artificielle de l’UE(s’ouvre dans une nouvelle fenêtre).
Les tests de risque liés à l’IA révèlent un comportement instable et des biais
Le premier problème qui apparaît n’est souvent pas frappant, mais plutôt une incohérence fondamentale. Comme l’explique Lukas Bieringer, responsable de la politique et des subventions chez QuantPi, «il s’agit typiquement d’un comportement incohérent ou instable dans le cadre d’une variation réaliste des entrées, la même classe d’invite produit des résultats matériellement différents en fonction de la formulation, de la langue ou du contexte». En effet, un outil d’IA générative peut sembler fiable dans un simple test de référence, mais échouer lorsque les utilisateurs formulent différemment leurs demandes. Des biais et des écarts d’équité peuvent alors apparaître, en particulier lorsque les performances d’un sous-groupe semblent acceptables en termes de résultats moyens, mais qu’elles s’effondrent au sein de groupes spécifiques. Un cas de preuve de valeur a évalué un système de recommandation de candidats basé sur un grand modèle de langage sur la plateforme de recrutement Stepstone et par le biais de TÜV AI.Lab un laboratoire d’assurance de l’IA. La leçon: les tests d’IA liés à l’emploi ont besoin d’ensembles de données suffisamment vastes et représentatifs pour permettre des tests intersectionnels, où les caractéristiques qui se chevauchent peuvent être vérifiées au lieu d’être cachées au sein de moyennes générales.
Une unique base de données pour les utilisateurs techniques, juridiques et administratifs
L’approche de QuantPi sépare les preuves de la présentation. Un scientifique des données peut avoir besoin de résultats de tests détaillés par métrique, sous-groupe et scénario. Un juriste a besoin de liens vers des clauses réglementaires et des normes. Un responsable de la gouvernance a besoin d’une vue d’ensemble des systèmes. Un décideur au niveau du conseil d’administration a besoin de quelques indicateurs de risque résiduel sans fausse précision. Lukas Bieringer résume clairement l’approche: «Le principe clé de la conception est le suivant: tous les points de vue doivent découler de la même base de données statistiques, de sorte qu’une déclaration du conseil d’administration puisse toujours être reliée à un résultat de test spécifique». Cette traçabilité est importante car les décisions en matière de risque impliquent plusieurs équipes, chacune d’entre elles ayant besoin d’une vue qui corresponde à ses responsabilités.
Le contrôle continu permet de tenir à jour les preuves de l’IA
Les tests automatisés ne remplacent pas le jugement humain. Ce sont toujours des personnes qui définissent l’usage prévu du système, choisissent les critères d’équité ou de sécurité à appliquer, fixent les seuils d’acceptation et décident de déployer, de reporter ou de retirer un système. L’automatisation mesure le risque, des personnes responsables décident du niveau de risque acceptable. La surveillance est donc activée lorsque les éléments indiquant un risque évoluent. Une mise à jour du modèle, une demande révisée, un nouvel indice de récupération, un ensemble d’outils modifié ou un changement dans les données en amont peuvent invalider les tests antérieurs. Les écarts d’entrée, les écarts de sortie et les modifications apportées aux règles ou aux politiques internes peuvent également nécessiter une réévaluation. Pour de nombreuses entreprises, le plus grand obstacle qui subsiste n’est pas la connaissance des règles. Lukas Bieringer est formel: «Ce qu’ils ne peuvent pas faire, c’est produire des preuves techniques de conformité qui tiennent la route devant un organisme notifié ou un auditeur, en particulier pour les systèmes génératifs, pour lesquels les rapports de référence traditionnels sont insuffisants et les normes harmonisées manquent à ce jour». La plateforme QuantPi comble cette lacune en convertissant les tests techniques en données probantes que les différentes équipes peuvent exploiter avant et après le déploiement.
