Google a publié un article scientifique « Concrete Problems in AI Safety », listant les cinq principaux problèmes de sécurité que pose l’intelligence artificielle.

«Futura Sciences » reprend les grandes lignes de cette analyse :

Cette réflexion devrait guider les travaux sur les futurs systèmes d’IA destinés à contrôler des robots susceptibles d’interagir avec les humains.

L’intelligence artificielle vise à copier le fonctionnement du cerveau humain, ou du moins la logique mise en œuvre lors de la prise de décisions.

Ne pas commettre pas d’erreurs fatales.

Le premier préalable serait de faire en sorte que les robots ne commettent pas d’erreurs fatales.

Aussi Google et ses spécialistes en intelligence artificielle ont-ils  travaillé avec des chercheurs des Universités de Stanford et de Berkeley ainsi qu'avec l'association Open AI sur les problèmes de sécurité  « concrets » qu’il faut s’atteler à résoudre.

Dans un article intitulé « Concrete Problems in AI Safety », l’équipe analyse cinq « problèmes pratiques » liés aux risques d’accident qu’une IA basée sur l’apprentissage automatique (machine learning) pourrait provoquer si sa conception n’est pas correctement pensée pour le monde réel.

En introduction, les experts précisent : «Nous définissons les accidents comme des comportements inattendus et nuisibles qui peuvent émerger de systèmes d’apprentissage automatique lorsque l’on définit la mauvaise fonction de l'objectif, que l’on n’est pas précautionneux avec le processeur d’apprentissage ou que l’on commet d’autres erreurs liées à l’implémentation de l’apprentissage automatique ».

En clair, ce ne sont pas les erreurs potentielles des robots qu’il faut redouter mais bien celles de leurs concepteurs.

Pour illustrer concrètement leur analyse, les auteurs de l’étude ont pris un exemple basique, celui d’un robot chargé du nettoyage.

Mais, les questions soulevées peuvent s’appliquer à toute forme d’IA contrôlant un robot.

Les difficultés susceptibles d’apparaitre :

-         1. Le robot peut perturber l'environnement

Les deux premiers risques identifiés par les chercheurs de Google découlent de l’attribution d’une mauvaise fonction de l'objectif.

Il y a d’abord ce qu’ils nomment « avoiding negative side effects », « éviter des effets secondaires négatifs ».

A savoir, comment éviter qu’un robot ne perturbe l’environnement de façon nuisible en accomplissant  sa mission.

Par exemple, le robot nettoyeur pourrait renverser ou écraser ce qui se trouve sur son passage parce qu’il a calculé l’itinéraire le plus rapide pour achever sa tâche.

Pour prévenir ce cas de figure, la solution pourrait consister à créer des « contraintes de bon sens » sous la forme de pénalités infligées à l’IA lorsqu’elle cause une perturbation majeure à l’environnement dans lequel le robot évolue.

-         2. La machine peut tricher

Deuxième risque : « avoiding reward hacking »  ce que l’on pourrait traduire par « éviter que la fin ne justifie tous les moyens ».

Pour une IA, la récompense correspond à la réussite de l’objectif.

Il faut éviter que la machine ne cherche la quête de la récompense par tous les moyens, quitte à sauter des étapes ou à tricher.

Dans le cas du robot cité par Google, cela consisterait ainsi à cacher la poussière sous un tapis en considérant que la tâche est accomplie !

C’est problème délicat à résoudre dans la mesure où une IA peut interpréter de façon très variée une tâche et son environnement.

L’une des idées avancées dans l’article est de tronquer des informations afin que le programme n’ait pas une connaissance parfaite de la manière d’obtenir une récompense et ainsi ne cherche pas à aller au but le plus facilement possible.

-         3. Comment faire pour que le robot aille à l'essentiel ?

Le troisième risque est nommé  «scalable oversight » (surveillance évolutive):

Comment fait-on pour que le robot puisse enchaîner de lui-même certaines étapes de sa mission pour être efficace en sachant demander l’approbation dans des situations qu’il devra savoir interpréter comme étant particulières ?

Exemple pour notre robot nettoyeur: ranger et nettoyer la cuisine, mais en demandant  quoi faire de la casserole posée sur le feu.

Il faudra simplifier au maximum les étapes de la mission « cuisine » afin que le robot aille à l’essentiel sans venir vous déranger sans cesse face à une situation imprévue.

-         4. Quel degré d’autonomie peut-on accorder à une IA ?

« safe exploration » ou exploration en sûreté.

Tout l’intérêt d’une intelligence artificielle est qu’elle puisse progresser en expérimentant différentes approches pour évaluer les résultats et décider de conserver les scénarios les plus pertinents pour atteindre son objectif.

La solution suggérée est de former ces IA avec des environnements simulés dans lesquels leurs expérimentations empiriques ne créeront aucun risque d’accident.

-         5. L'IA saura-t-elle s'adapter au changement ?

« robustness to distributional shift » : comment s’adapter au changement ?

« Comment s’assure-t-on qu’une IA reconnaisse et se comporte de façon adéquate lorsqu’elle se trouve dans un environnement très différent de celui dans lequel elle a été entraînée? », exposent les chercheurs.

Ainsi, dans notre exemple, comment faire pour que le robot qui a été formé à laver les sols d’une usine avec des produits détergents n’applique pas la même technique pour le nettoyage des bureaux ?

En conclusion :

Les experts expliquent que ces problèmes sont relativement simples à surmonter avec les moyens techniques dont nous disposons actuellement mais qu’il est « digne d’intérêt et prudent» de développer des règles de sécurité qui puissent demeurer efficaces à mesure que les systèmes autonomes auront à résoudre des  problèmes de plus en plus complexes et générateurs de risques.

Mais, en tout état de cause, dans l’hypothèse où l’un ou plusieurs de ces risques n’étaient pas totalement maîtrisés, Google travaille aussi sur un bouton « arrêt d'urgence » pour les IA menaçantes

Concernant les risques susceptibles d’être pris par l’humanité de se voir un jour supplantée par les machines, Google suggère de s’attaquer plutôt aux problématiques de sécurité concrètes.

Source : « Futura Sciences »