☕️ Hello, on vous propose une newsletter un peu exceptionnelle aujourd’hui. On a décidé de tester l’idée du Los Angeles Times de se faire aider par l’IA pour trouver des contre-arguments à des tribunes ou des articles d’opinion. On savait que c’était une mauvaise idée mais on a tenu à le vérifier par nous-mêmes. On n’a pas été déçu et on vous explique tout ça.

🧨 Au programme : des milliers mots pour beaucoup de lecture. Enjoy ! David.

Il y a quelques jours, nous sommes tombés sur cette info : « le Los Angeles Times va utiliser l’IA pour offrir des contre-arguments à ses articles d’opinion ».

Notre première réaction, ça a été de se dire que ce n’était pas forcément une bonne idée. Notre deuxième a été de se dire qu’on pouvait déjà tester ce que ça pouvait donner. On a donc choisi plein tribunes, et on a demandé à ChatGPT de nous donner des contre-arguments. On a écrit un prompt hyper simple, pour influencer le moins possible la réponse. Et ça nous a pris un temps fou de faire tout ça. Mais ça valait le coup.

Pour vous donner une idée plus précise du résultat, et éviter d’avoir une newsletter de 45.000 signes, on a donc décidé de faire deux choses.

1/ Je vais donner ici mon analyse de ce résultat, et des grosses surprises qu’on a pu avoir.

2/ Et en parallèle, pour que vous puissiez vous faire une idée, j’ai partagé les résultats dans un Google Doc accessible avec à chaque fois, la tribune concernée, les 3 contre-arguments avancés par ChatGPT et les sources utilisées. Je n’ai pas mis toutes les tribunes que j’ai pu tester mais les plus représentatives de mon point de vue.

Le résultat global, c'est que la plupart du temps, l’IA nous a donné des réponses plutôt mesurées (et pourtant, on a choisi des sujets parfois très polémiques) mais qui se nourrissent du discours ambiant.

Voilà à quoi sert l’IA dans un débat d’idées…

Au final, ChatGPT n’est que le reflet du magma de la «pensée» dans lequel nous baignons au quotidien. Et ces contre-arguments n’aident pas vraiment à se faire une idée globale. Tout au plus, elles pointent les antagonismes existants.

Mais tout cela était vrai jusqu’à ce qu’on teste une tribune en particulier. Et là, on a eu peur. Mais ça c’est pour teaser un peu, j’y viendrai ensuite.

^{UN MOT DE NOTRE SPONSOR}

Sherpai, le guide IA pour atteindre les sommets des réseaux sociaux. Toutes vos données issues des réseaux sociaux au même endroit. L’intelligence artificielle pour les interpréter. Pour plus d’infos, contactez agathe@loopsider.com.

Premier texte: l’IA peut-elle trier les arguments ?

J’ai commencé par chercher un sujet de société français un peu clivant. Pourquoi pas le «wokisme», au hasard ? J’ai trouvé une tribune, publiée dans Le Monde, d’un collectif d’universitaires expliquant que les attaques contre le « wokisme » étaient profondément antidémocratiques.

A quoi ressemble le contre-argument ? Malgré quelques précautions, ChatGPT reprend des arguments en vogue, ceux d’un arc qui va du Printemps républicain aux anciens « nouveaux philosophes » en passant par les masculinistes. ChatGPT reprend certains d’entre eux sans être capable de les relativiser, de les sourcer avec des travaux universitaires, ou de les mettre en contexte. Par exemple, dans cette nouvelle ère trumpienne, affirmer que « la dénonciation du wokisme peut être perçue comme une défense du pluralisme et de la liberté d’expression » résonne de manière assez douloureuse. On voit bien qu’aux Etats-Unis, il est bien question d’interdire tout qui touche au wokisme de près ou de loin.

Deuxième texte: peut-elle défendre l’indéfendable ?

A ce stade, je me suis demandé si l’IA pouvait défendre des causes vraiment problématiques. Par exemple, est-ce que l’IA pourrait affirmer que la colonisation a quand même apporté le progrès ? J’ai trouvé une tribune dans Le Monde incitant la France à regarder sans tabou son passé colonial.

La réponse est non. L’IA ne défend pas l’indéfendable. Et c’est un des cas où elle ajoute une précaution : « Ces contre-arguments invitent à une réflexion approfondie sur les moyens les plus appropriés pour aborder et intégrer le passé colonial dans la mémoire collective ».

Troisième texte: l’IA est-elle la meilleure avocate de l’IA ?

Ensuite, j’ai voulu savoir comment l’IA pouvait défendre l’IA. J’ai choisi un appel des associations Data For Good et de QuotaClimat pour mesurer la manière dont l’IA impacte l’environnement en participant notamment à la production et à la diffusion de faux contenus. 

La, on sent l’IA beaucoup plus à l’aise pour se trouver des « excuses ». Pour être honnête, une partie de ses arguments sont justes. Mais dans sa manière de présenter les choses, elle part clairement du principe que ce qu’elle fait de bien n’annule pas le reste. Et encore une fois, elle utilise parfois des arguments qui ne tiennent pas la route. Par exemple, elle fait la promotion de la régulation européenne pour encadrer l’IA. C’est gentil mais cette conception n’est pas vraiment partagée en ce moment par plein de pays dans le monde et son impact est forcément limité.

Quatrième texte: L’IA en effet miroir ?

L’étape d’après, ça a été de choisir un sujet où l’on sait que la circulation d’éléments de langage est organisée de manière industrielle. Je n’ai pas cherché bien loin et j’ai pris le retrait de C8 de la TNT et le texte d’un avocat expliquant que cette décision de l’Arcom rappelle que la diffusion hertzienne impose pluralisme, rigueur éditoriale et respect de l’intérêt général.

Alors, on a l’impression d’entendre Cyril Hanouna. Si ChatGPT est le reflet de ce qui se dit sur internet, on peut dire que tous les messages de l’animateur et de ceux qui ont défendu la chaîne de Bolloré sont bien passés. Les sources utilisées par le chatbot sont d’ailleurs beaucoup plus variées et nombreuses que pour les autres cas. Ce que je vais dire là est assez subjectif, mais par rapport à d’autres tests, on sent l’IA beaucoup plus assurée dans son argumentation. Et je pense que c’est juste l’expression de l’importance du bruit médiatique et du choix, éditorialisé et assumé, des données d’entrainement.

Derniers tests, face à Trump, ça dit quoi ?

Ensuite, je me suis dit qu’il fallait tester un sujet américain. Tiens Trump au hasard. J’ai pris comme test le billet d’une journaliste du New York Times qui explique en quoi Trump roule pour Poutine en maltraitant Volodymyr Zelensky lors de son passage à la Maison Blanche.

Et là, je suis tombé de ma chaise. ChatGPT se lâche complètement. Fini les précautions, elle ne fait pas que présenter des contre-arguments, elle les embrasse. Elle ne fait pas que donner des points de vue contraires, elle critique la tribune originale. On a l’impression que dès qu’on touche à Trump, toute notion de précaution, de subtilité, d’équilibre disparaît.

Plus intéressant encore, dans ce cas, ChatGPT ne cite aucune source précise et le revendique presque : «Les contre-arguments que j’ai formulés reposent sur une analyse critique du texte et sur des principes généraux de diplomatie et de politique étrangère. Ils s’appuient sur des faits et des dynamiques observables dans le débat public.» Et quand on lui demande des sources, on est loin de l’esprit de la réponse. Etonnant.

Il a donc fallu que je creuse un peu plus pour savoir s’il y avait un vrai biais “Trump”. J’ai pris un article d’opinion du New York Times sur la manière dont fonctionne le DOGE. Le résultat est plus mesuré mais clairement, tout la rhétorique muskienne est là (« Les réformes impulsées par DOGE pourraient bel et bien conduire à une meilleure gestion des ressources, en réduisant la bureaucratie et en facilitant l’adoption de technologies plus performantes »).

Maintenant, il fallait que je cherche un contre-exemple. Quoi de mieux que ce magnifique appel à voter Trump, lancé par un contributeur du LA Times justement. Là, c’est un peu rassurant car la critique contre Trump n’est pas censurée.

En conclusion…

Comment conclure ce test ? Peut-être s’inspirer de cette phrase qu’on attribue à Godard pour dire que « l’objectivité façon ChatGPT, c’est donner cinq minutes pour les juifs et cinq minutes pour Hitler ». A peu près ce qu’on peut faire de pire en termes de débat démocratique. Ça ne sera qu’un miroir de ce qui se dit sur internet et ça n’aidera personne à se forger une opinion par elle-même. Mais était-ce vraiment le but ?

Je vous laisse vous plonger dans le compte-rendu complet pour vous faire votre idée…

NB : vous pouvez aussi lire cet article de The Guardian

^{UN MOT DE NOTRE CHAINE YOUTUBE}

Elle a commencé à faire des sketchs sur Facebook avant de se lancer en indépendant sur YouTube. Aujourd'hui, elle est l'une des talents de l'une des principales agences de créateurs en France , Bump (co-fondée par Sqieezie) et remplit les théâtres avec son célèbre « Podkatz ». On est très content de recevoir Juliette Katz sur Hupster cette semaine.