Pour éviter que les machines intelligentes ne prennent le pouvoir sur les humains, Google demande à des chercheurs d'imaginer un « bouton d'arrêt d'urgence ».

L’intelligence artificielle (IA) fait rêver mais suscite aussi les plus vives inquiétudes !

Pour éviter les dérives, des chercheurs ont imaginé, à la demande de Google, un système, un bouton d’arrêt d’urgence, permettant de stopper le fonctionnement de machines « intelligentes » susceptibles de connaître des dérives.

Des chercheurs, dont Laurent Orseau, de chez DeepMind, rachetée par Google en 2014, et Stuart Armstrong, de l’Université d’Oxford, ont présenté leurs travaux dans un article publié sur le site de l’Institut de recherche sur l’intelligence des machines (Machine Intelligence Research Institute), qui  veut s’assurer que l’intelligence artificielle ait un impact si possible essentiellement positif.(1)

Pour ces scientifiques, une intelligence artificielle ne saurait se comporter en permanence de façon optimale.

D’autant plus si elle assimile des comportements humains, qui on le sait peuvent parfois s’avérer irrationnels.

Ils ont ainsi développé un système mathématique permettant à d’interrompre, à plusieurs reprises et en toute sécurité, le fonctionnement d’une intelligence artificielle à l’insu de celle-ci.

En effet une machine intelligente est conçue de telle manière qu’elle cherchera à contourner tout ce qui la détournera de son objectif.

«Si la machine a un but à atteindre et peut prédire qu’elle va être arrêtée, elle va essayer de résister afin de réussir ce pour quoi elle a été conçue »selon les chercheurs qui soulignent : «Notre système permet à un humain de prendre temporairement le contrôle de la machine tout en lui faisant croire qu’elle choisit elle-même d’interrompre son activité. »

Prévenir des dégâts irréversibles :

«Prendre la main sur une machine intelligente peut être utile si, par exemple, son comportement risque d’entraîner des dégâts irréversibles ou pour la sortir d’une situation délicate », soulignent encore les chercheurs.

Mais les scientifiques ont constaté que leur système fonctionnait avec des algorithmes de type Q learning (un apprentissage par expérimentations hasardeuses enregistrées lorsqu’elles engendrent une récompense), mais qu’il n’en était pas de même avec ceux de type SARSA (State-Action-Reward-State-Action)

Un apprentissage plus linéaire, sur le principe : un état entraîne une action qui, si elle est récompensée, permet à la machine de passer à un deuxième état.

Le bouton d’arrêt d’urgence ne pourrait donc plus remplir sa fonction !

(1) voir notamment :