👀 IA : loi de Moore ou loi de Musk ?

🧐 Hello, vous connaissez la loi de Moore ? Mais si, vous savez, cette loi qui annonce le caractère exponentiel de la puissance des ordinateurs en posant comme principe le doublement tous les deux ans du nombre de transistors dans un microprocesseur… Et bien, il aura fallu plus de 50 ans pour que cette loi empirique ne s’applique plus et que les performances informatiques se retrouvent face à un mur.

Il n’existe pas de loi de Moore en matière d’intelligence artificielle générative, tout est allé trop vite. Mais la question du mur se pose déjà. J’en ai déjà parlé ici. Mais au-delà des multiples raisons qu’on va vous rappeler, il y a un nouveau maçon en ville….

🧨 Au programme : 492 mots pour 3 minutes de lecture. Enjoy ! David.

De la vitesse avec laquelle les modèles de langages comme ChatGPT se sont améliorés depuis que l’IA générative est apparue dans nos vies numériques, c’est-à-dire il y a très peu de temps. Cette croissance exponentielle de leur puissance de calcul repose sur une politique du « toujours plus » : toujours plus de données pour les nourrir, toujours plus d’argent, toujours plus d’énergie... L’objectif est de rendre les grands modèles linguistiques de demain encore toujours plus performants que ceux d’aujourd’hui. Et il faut que ça se remarque.

Cette stratégie, Sam Altman l’a écrite noir sur blanc : pour lui, la question de l’apprentissage des machines ne peut passer que par cette voie. Jusqu’à présent, chaque nouveau modèle lui a donné raison. Jusqu’à quand ?

...