👀 IA : loi de Moore ou loi de Musk ?

🧐 Hello, vous connaissez la loi de Moore ? Mais si, vous savez, cette loi qui annonce le caractère exponentiel de la puissance des ordinateurs en posant comme principe le doublement tous les deux ans du nombre de transistors dans un microprocesseur… Et bien, il aura fallu plus de 50 ans pour que cette loi empirique ne s’applique plus et que les performances informatiques se retrouvent face à un mur.

Il n’existe pas de loi de Moore en matière d’intelligence artificielle générative, tout est allé trop vite. Mais la question du mur se pose déjà. J’en ai déjà parlé ici. Mais au-delà des multiples raisons qu’on va vous rappeler, il y a un nouveau maçon en ville….

🧨 Au programme : 492 mots pour 3 minutes de lecture. Enjoy ! David.

De la vitesse avec laquelle les modèles de langages comme ChatGPT se sont améliorés depuis que l’IA générative est apparue dans nos vies numériques, c’est-à-dire il y a très peu de temps. Cette croissance exponentielle de leur puissance de calcul repose sur une politique du « toujours plus » : toujours plus de données pour les nourrir, toujours plus d’argent, toujours plus d’énergie... L’objectif est de rendre les grands modèles linguistiques de demain encore toujours plus performants que ceux d’aujourd’hui. Et il faut que ça se remarque.

Cette stratégie, Sam Altman l’a écrite noir sur blanc : pour lui, la question de l’apprentissage des machines ne peut passer que par cette voie. Jusqu’à présent, chaque nouveau modèle lui a donné raison. Jusqu’à quand ?

^{UN MOT DE NOTRE SPONSOR}

Sherpai, le guide IA pour atteindre les sommets des réseaux sociaux. Toutes vos données issues des réseaux sociaux au même endroit. L’intelligence artificielle pour les interpréter. Pour plus d’infos, contactez agathe@loopsider.com.

Il n’y a pas un mais des problèmes. Essayons de les lister :

• Ça coute cher : les infrastructures nécessaires pour faire tourner ces IA consomment d’énormes quantités d'énergie et d’argent.

• Il faut les nourrir : les données de qualité pour améliorer les modèles sont de plus en plus difficiles à trouver. Surtout de manière légale.

• Il faut les nourrir (bis) : les données produites par les IA elles-mêmes ne peuvent pas encore prendre la place des données produites par l’humain.

• Ça doit être utile : de nombreuses voix s’inquiètent des difficultés rencontrées par les entreprises et le grand public pour s’emparer de ces modèles et leur donner des applications concrètes dans la vie et le travail de tous les jours.

• Ça doit rapporter : et du coup, d’autres voix, celles qui ont investi 200 milliards dans les IA cette année, commencent à poser la question de la rentabilité et du retour sur investissements.

Tout cela plaide pour une fin de la course à la super-puissance. On va bientôt assister à un test grandeur nature avec la très prochaine sortie du modèle Orion (nom de code Strawberry) chez OpenAI. On a été habitué à être bluffé alors s’il n’y a pas d’effet Wahou comme pour les différentes versions de ChatGPT, c’est la stratégie du toujours plus qui pourrait être remise en question.

Or, selon Bloomberg, Google, OpenAI, Anthropic, rencontrent actuellement des retards dans leurs efforts pour faire progresser la prochaine génération de ces modèles fondamentaux.

A part ralentir la cadence sous la contrainte, l’industrie de l’IA n’est pas encore prête à proposer
des alternatives de développement aussi efficaces. Mais elle y travaille. Les scientifiques cherchent
à réduire la taille des puces pour leur faire consommer moins d’énergie. Ils travaillent aussi à mettre
en place de nouveaux schémas de raisonnement, et à les faire réagir moins vite pour économiser de l’énergie.

Mais il y a aussi un « facteur X » dans tout ça et il s’appelle Elon Musk. Son influence auprès de Trump pourrait provoquer un encadrement beaucoup plus restrictif du développement des IA. En effet, même s’il a monté sa propre entreprise dans ce secteur, le patron de Tesla considère que le monde va à sa perte s’il l’on continue sur ce rythme effréné. On saura très vite si le mur de l’IA en fait, c’est lui.

^{UN MOT DE NOTRE CHAINE YOUTUBE}

Domingo a commencé en 2013 avec League of Legends dans sa chambre, et tout s'est enchaîné depuis : il fait aujourd'hui partie des pionniers du streaming français. Il anime sa propre émission, Popcorn, diffusée sur Twitch et est l'un des rares à organiser des défis sportifs en live. PA revient sur son incroyable parcours. C’est à retrouver sur notre chaine YouTube juste ici !