Un dveloppeur dpense peine 400 dollars pour construire un outil de dsinformation bas sur la technologie d’IA d’OpenAI, L’IA a rendu bon march la diffusion de propagande grande chelle

Au dbut du mois de juin, Vera Jourova, vice-prsidente de la Commission europenne, a dclar que les contenus gnrs par l’IA gnrative devraient tre tiquets afin de prvenir les abus potentiels de la technologie et les risques de dsinformation. Les entreprises qui intgrent l’IA gnrative dans leurs services, tels que Bing Chat pour Microsoft ou Bard pour Google, doivent mettre en place les garanties ncessaires pour que ces outils ne puissent pas tre utiliss par des acteurs malveillants pour produire de la dsinformation , a dclar Jourova lors d’une confrence de presse. CounterCloud montre qu’il est important de prendre des mesures.

CounterCloud est un processus automatis (ou bot) bas sur un des grands modles de langage (LLM) d’OpenAI. Dans une vido de dmonstration publie sur YouTube, l’auteur dcrit CounterCloud comme une « machine dsinformer » pilote par l’IA. Il a montr avec quelle facilit il est possible de crer de la dsinformation grande chelle en seulement deux mois, avec un cot oprationnel mensuel d’environ 400 dollars, ce qui donne des frissons tous ceux qui s’inquitent de l’avenir de la guerre de l’information. Pour la cration de CounterCloud, l’auteur a commenc par l’introduction d’articles contradictoires dans le modle de langage.

Paralllement, il fournissait au modle d’IA des invites pour gnrer des contre-articles. Ce processus simple, mais troublant a ouvert la voie une machine de propagande pilote par l’IA. CounterCloud a produit ensuite plusieurs versions d’un mme article, chacune adapte des styles et des perspectives diffrents. La vido ne prcise pas le modle de langage sur lequel CounterCloud est bas. Selon Wired, CounterCloud a t test sur la plateforme de mdias sociaux X (l’ancien Twitter) et les rsultats sont stupfiants. CounterCloud aurait permis de gnrer des rponses des articles sur la Russie, mais aussi de la dsinformation sur cette dernire.

Le rapport indique qu’en mai, Sputnik, un mdia d’tat russe, a publi une srie de messages sur X pour dnoncer la politique trangre des tats-Unis et s’attaquer l’administration Biden. Chacun de ces messages a suscit une rponse sche, mais bien conue de la part d’un compte appel CounterCloud, avec parfois un lien vers un article d’actualit ou d’opinion pertinent. Des rponses similaires ont t apportes aux posts de l’ambassade de Russie et des organes de presse chinoise critiquant les tats-Unis. Bien entendu, les critiques de la Russie l’gard des tats-Unis sont loin d’tre inhabituelles, mais la riposte matrielle de CounterCloud l’tait.

Les posts, les articles et mme les journalistes et les sites d’information ont t entirement conus par CounterCloud. Le crateur du projet CounterCloud se prsente comme un professionnel de la cyberscurit, mais a choisi de ne pas divulguer sa vritable identit. Il se fait appeler Nea Paw et affirme que le fait de rester anonyme lui permet d’viter les reprsailles des personnes qui pourraient penser que le projet est irresponsable. Selon lui, le projet est destin mettre en vidence les dangers de la cration et de la diffusion d’infox grande chelle par l’IA. Nea Paw n’a pas publi les tweets et les articles de CounterCloud, mais les a fournis Wired.

Je ne pense pas qu’il y ait une solution miracle ce problme, de la mme manire qu’il n’y a pas une solution miracle pour les attaques par hameonnage, le spam ou l’ingnierie sociale. Des mesures d’attnuation sont possibles, comme l’ducation des utilisateurs pour qu’ils soient attentifs aux contenus manipuls gnrs par l’IA, l’utilisation de systmes d’IA gnrative pour tenter de bloquer les abus ou l’quipement des navigateurs avec des outils de dtection de l’IA. Mais je pense qu’aucune de ces mesures n’est vraiment lgante, bon march ou particulirement efficace pour venir bout du problme , note Paw dans un courriel envoy Wired.

Dans le cadre du projet CounterCloud, lui et ses collaborateurs ont expliqu avoir ajout un module de contrle l’IA pour qu’elle ne rponde qu’au contenu le plus pertinent, tandis que des clips audio de lecteurs de journaux lisant les faux articles gnrs par l’outil d’IA et des photos ont t ajouts pour crer de l’authenticit. Le groupe a galement cr de faux profils de journalistes et de faux commentaires sous certains articles. Ils ont ensuite demand au systme d’aimer et de rafficher les messages qui allaient dans le sens de sa narration ou d’crire des messages « contraires » ceux qui n’allaient pas dans le sens de sa narration.

En deux mois, ils ont obtenu « un systme entirement autonome pilot par l’IA qui gnrait un contenu convaincant 90 % du temps, 24 heures sur 24 et sept jours sur sept ». Comme indiqu plus haut, ils n’ont pas publi le modle en ligne et il est peu probable qu’ils le fassent. Pour s’expliquer, Paw a dclar : cela reviendrait diffuser activement de la dsinformation et de la propagande. Une fois que le gnie est sorti sur Internet, on ne peut pas savoir o il finira . Cela dit, il a ajout qu’il pense que la publication de CounterCloud et l’ducation du public sur la faon dont ces systmes d’IA fonctionnent de l’intrieur seraient beaucoup plus bnfiques.

Ces dernires annes, les chercheurs qui tudient la dsinformation ont mis en garde contre l’utilisation de modles d’IA pour crer des campagnes de propagande hautement personnalises et pour alimenter des comptes de mdias sociaux qui interagissent avec les utilisateurs de manire sophistique. Micah Musser, qui a tudi le potentiel de dsinformation des modles d’IA, s’attend ce que les politiques essaient d’utiliser des modles d’IA pour gnrer du contenu promotionnel, des courriels de collecte de fonds ou des annonces d’attaque. Il s’agit d’une priode trs incertaine o les normes ne sont pas vraiment claires , explique-t-il.

Renee DiResta, responsable de la recherche technique pour l’Observatoire de l’Internet de Stanford, qui suit les campagnes d’information, estime que les articles et les profils de journalistes gnrs dans le cadre du projet CounterCloud sont trs convaincants. Outre les acteurs gouvernementaux, les agences de gestion des mdias sociaux et les fournisseurs de services d’oprations d’influence pourraient s’emparer de ces outils et les intgrer leurs flux de travail. Il est difficile de diffuser des contenus falsifis grande chelle, mais il est possible de le faire en payant des utilisateurs influents pour qu’ils les partagent , explique DiResta.

Kim Malfacini, responsable de la politique produit chez OpenAI, explique que l’entreprise tudie la manire dont sa technologie de gnration de texte est utilise des fins politiques. Selon Malfacini, les gens ne sont pas encore habitus supposer que le contenu qu’ils voient peut tre gnr par l’IA. Il est probable que l’utilisation d’outils d’IA dans un grand nombre d’industries ne fera que crotre, et la socit s’adaptera cette volution , explique Malfacini.

Mais pour l’instant, je pense que les gens sont encore en train de se mettre jour , a-t-elle ajout. tant donn qu’une multitude d’outils d’IA, tels que ChatGPT et Bard, sont maintenant largement disponibles, les lecteurs devraient se rendre compte de l’utilisation de l’IA en politique le plus tt possible. Meta a publi en open source son modle d’IA LLMA 2 dans le but de permettre la communaut de participer la recherche en IA, mais certains pourraient l’utiliser mauvais escient.

Et vous ?

Quel est votre avis sur le sujet ?

Voir aussi

Les contenus gnrs par l’IA gnrative devraient tre tiquets afin de prvenir les abus potentiels de la technologie et les risques de dsinformation, selon la commissaire europenne Jourova

Les chatbots d’IA pourraient aggraver la dsinformation en ligne, en permettant aux acteurs malveillants de crer des campagnes plus rentables, et plus difficiles reprer, selon certains chercheurs

Le PDG d’OpenAI, Sam Altman, dclare au Congrs amricain qu’il craint que l’IA ne soit « nuisible » au monde, il ajoute qu’une rglementation de l’IA est urgente afin d’viter une catastrophe