Renforcer la sensibilisation des robots aux enjeux de sécurité
Alors que les robots s’intègrent progressivement à notre quotidien, garantir leur sécurité ne consiste pas seulement à éviter les collisions ou à respecter des contraintes analytiques prédéfinies. Ils doivent aussi comprendre le sens de leur environnement, tenir compte du contexte, traduire les contraintes pertinentes en règles calculables, puis les appliquer de manière fiable dans leurs actions. «Une consigne apparemment simple, comme réchauffer un aliment au micro-ondes, exige du robot qu’il reconnaisse non seulement l’appareil et l’aliment, mais aussi qu’il comprenne qu’il faut retirer les objets métalliques au préalable pour éviter tout risque d’incendie», explique SiQi Zhou(s’ouvre dans une nouvelle fenêtre), professeur assistant en informatique à l’université Simon Fraser(s’ouvre dans une nouvelle fenêtre). S’il existe de solides fondements théoriques pour certifier que les actions d’un robot respectent un ensemble donné de contraintes, les cadres existants supposent souvent que ces contraintes sont connues à l’avance et définies explicitement en fonction des états et des actions du robot. «Les récents progrès de l’apprentissage automatique permettent aux robots d’extraire des informations sémantiques des images, de comprendre des instructions en langage naturel et de raisonner à propos de leur environnement», ajoute SiQi Zhou. «Mais traduire cette compréhension sémantique en actions sûres et adaptées au contexte demeure problématique.» Le projet SSDM(s’ouvre dans une nouvelle fenêtre), financé par l’UE et dirigé par SiQi Zhou, s’attaque à ce problème. Il est accueilli par Angela Schoellig à l’université technique de Munich(s’ouvre dans une nouvelle fenêtre) (TUM).
Un filtre sémantique pour aider les robots à respecter les règles de sécurité élémentaires
Soutenu par le programme Actions Marie Skłodowska-Curie(s’ouvre dans une nouvelle fenêtre), le projet développe des approches associant perception sémantique, raisonnement guidé par le langage et contrôle soumis à des exigences strictes de sécurité. L’une d’elles consiste en un filtre de sécurité sémantique(s’ouvre dans une nouvelle fenêtre) destiné à aider les robots à respecter les règles de sécurité dictées par le bon sens. Ce filtre s’appuie sur une représentation 3D de l’environnement capable de prendre en compte un vocabulaire ouvert. Il utilise de grands modèles de langage pour repérer les dangers liés au contexte, puis les traduit en contraintes calculables que le contrôleur du robot peut faire respecter. La solution a été testée dans une cuisine réelle avec un bras robotique Franka Emika FR3. Des politiques de diffusion apprises ont permis au robot de déplacer des objets, notamment fragiles, et de reconnaître des risques d’incendie ou d’origine électrique. «Le filtre a empêché des actions dangereuses, comme placer une tasse métallique dans un micro-ondes ou une bombe aérosol sous pression sur une cuisinière», précise SiQi Zhou, le chercheur principal du projet. Le système a respecté 100 % des contraintes de sécurité, tant géométriques que sémantiques.
Une solution permettant aux robots de détecter les changements dans leur environnement
Les avancées de la vision par ordinateur ont progressivement fait évoluer la perception robotique de la reconstruction géométrique vers la compréhension sémantique, puis, plus récemment, vers la cartographie fondée sur un vocabulaire ouvert. Néanmoins, de nombreuses approches actuelles supposent encore que l’environnement reste inchangé au fil du temps. «Cette hypothèse ne tient pas dans les situations du quotidien, où les meubles, les appareils électroménagers et les petits objets peuvent être déplacés, retirés ou remis en place», souligne SiQi Zhou. «Si ces changements ne sont pas pris en compte, la carte devient inexacte, ce qui compromet la fiabilité des algorithmes utilisés ensuite pour prendre des décisions.» Pour remédier à cette limite, le projet a développé une méthode de mise à jour des cartes fondée sur un vocabulaire ouvert. Elle suit explicitement les changements concernant chaque objet et maintient une représentation 3D fiable et actualisée de l’environnement, afin de permettre ensuite un raisonnement sur la sécurité et une prise de décision adaptés. Lors d’essais menés dans de vraies cuisines et de vrais bureaux, le système a détecté 95 % des changements dans l’environnement et conservé une précision cartographique à moins de 3 % de celle obtenue avec une reconstruction complète. «Dans leur ensemble, nos résultats apportent des fondements théoriques, des outils algorithmiques et des démonstrations expérimentales qui permettent de relier la compréhension sémantique au contrôle sûr des robots», conclut SiQi Zhou.