L'IA qui inquiète les chercheurs n'est pas celle qui est dans votre boîte mail
Écrit pour Tout le monde Pas besoin de connaître la tech.
Un chercheur a démissionné cette semaine en affirmant que l'IA pourrait nous tuer. Son message mérite mieux qu'un titre alarmiste ou un haussement d'épaules.
Dans la nuit du 8 au 9 septembre, Jacob Coxon, 27 ans, a annoncé son départ de l'un des grands laboratoires américains d'intelligence artificielle (Anthropic, après un passage chez OpenAI). Il a passé trois ans, entre ces deux entreprises, à travailler sur l'entraînement des modèles, autrement dit sur la fabrication même de ces systèmes. En partant, il a écrit qu'aucune de ces deux entreprises n'agit de façon responsable, qu'elles se précipitent vers une intelligence capable de s'améliorer seule, et qu'elles jouent avec nos vies.
Ce qui a donné du poids à sa démission, c'est la réaction qui a suivi. Evan Hubinger, qui dirige une équipe de recherche sur la sûreté des modèles chez Anthropic, l'a soutenu publiquement. Il estime à plus de 10 % la probabilité que l'IA provoque l'extinction de l'humanité au cours de la prochaine décennie. Il ajoute que son entreprise fait de son mieux, mais qu'elle n'a pas encore de méthode pour s'assurer qu'une superintelligence agirait comme on l'attend d'elle, ni de certitude d'en trouver une à temps.
Difficile, après ça, de conseiller à qui que ce soit de ne pas s'inquiéter.
Ce que l'alerte a de juste
Ces chercheurs n'exagèrent pas. Plusieurs des problèmes qu'ils décrivent sont bien réels, et autant les nommer :
- La compétition l'emporte sur la prudence. Ce constat vient de ceux-là mêmes qui construisent ces systèmes.
- Nul ne sait encore expliquer de façon fiable pourquoi un modèle donne une réponse plutôt qu'une autre. La recherche avance, mais elle n'y est pas.
- Une poignée d'entreprises impose sa cadence à tous les autres. Presque toutes sont américaines ou chinoises.
- Tout cela a un coût, en énergie et en matériel, qui augmente avec la taille des modèles.
Chacun de ces sujets mériterait un article à part entière, et ils viendront. L'essentiel ici est de reconnaître que ces problèmes existent.
Ce que l'alerte ne dit pas
Coxon et Hubinger le précisent eux-mêmes, mais cette partie n'a pas fait les gros titres : les modèles actuels ne présentent pas de risque d'extinction. Leur crainte concerne un système à venir, capable de se réécrire lui-même et de progresser sans intervention humaine.
Ce qu'un professionnel utilise aujourd'hui dans ses outils n'a rien à voir.
Il s'agit d'un modèle déjà entraîné, figé une fois pour toutes. Il reçoit un texte et en produit un autre. Il ne se transforme pas au fil des conversations. Il ne prend aucune décision. Ce qu'il devient ensuite (garder une mémoire, agir de lui-même, réutiliser vos échanges pour entraîner la version suivante) ne relève pas du modèle. Cela relève du logiciel qui l'entoure, et de l'entreprise qui le fournit.
Mélanger les deux conduit à deux erreurs opposées. La panique : tout refuser, sans voir que l'IA est déjà entrée dans les outils qu'on utilise chaque jour. Le déni : tout accepter, sans regarder ce qui s'exécute en arrière-plan. Dans un cas comme dans l'autre, impossible de choisir en connaissance de cause.
Ce qui relie les deux
Ce qui se décide dans ces laboratoires ne se réglera pas dans un cabinet comptable. Inutile de prétendre le contraire.
Pour autant, la manière dont chacun utilise l'IA au quotidien n'est pas anodine. Un éditeur de logiciels, même modeste, a prise sur deux questions.
Quand. Un assistant peut fonctionner sans interruption, analyser tout ce qui arrive, résumer sans qu'on le lui demande. Il peut aussi n'intervenir qu'à un moment précis, sur une action volontaire de l'utilisateur, et rester silencieux le reste du temps.
Quoi. Trier un courrier, résumer un échange, préparer une réponse : ce sont des tâches délimitées. Elles ne réclament pas le modèle le plus puissant du marché. Un modèle plus modeste suffit, avec un avantage qu'on oublie souvent : une tâche délimitée se vérifie.
Moins de sollicitations, des modèles à la mesure de la tâche. Cela ne ralentira pas la course décrite par Coxon, mais cela évite de l'alimenter davantage, et cela réduit la dépendance envers ceux qui la mènent.
La position de desinvolt
Fabriquer des logiciels d'IA interdit de faire comme si cette alerte concernait seulement les autres.
La position de desinvolt tient en trois phrases. Le problème est réel. Personne ici ne prétend le résoudre. Mais il est possible, à l'échelle d'une petite entreprise, de choisir le camp de ceux qui l'atténuent plutôt que de ceux qui l'aggravent.
Concrètement, cela signifie une IA sobre plutôt qu'omniprésente : déclenchée par un événement, jamais active en permanence. Des modèles dimensionnés pour la tâche, et non les plus gros disponibles. Des fournisseurs européens, soumis au droit européen. Et à chaque étape, un humain qui garde la main.
C'est sur ce principe que se construit Hirondelle, notre messagerie professionnelle, actuellement en préparation.
Pour finir
L'alerte de Coxon s'adresse aux laboratoires et aux gouvernements. C'est à eux d'y répondre, et il faut espérer qu'ils le feront.
Chaque professionnel qui choisit ses outils a néanmoins une voix, modeste mais réelle, dans le type d'IA qui se développera : celle qui a besoin de tout voir en permanence, ou celle qui attend qu'on fasse appel à elle.
Si le sujet vous intéresse, ou si vous souhaitez suivre ce qu'on construit, écrivez-nous. N'hésitez pas à consulter les sources pour en savoir plus, belle journée à tous, André.
Sources
- Evan Hubinger sur X, en réponse au fil de Jacob Coxon (le fil original de Coxon est accessible depuis cette réponse)
- SFEIR, « Jacob Coxon quitte Anthropic : le fil intégral et sa lecture », avec la traduction française complète du fil
- ChannelNews, « Un chercheur d'Anthropic démissionne en accusant les géants de l'IA de mettre l'humanité en danger »
- Newsweek, « Who Is Jacob Coxon? Anthropic Researcher Quits », où Coxon et Hubinger précisent que les modèles actuels ne présentent pas ce risque
- Mistral AI, « Our contribution to a global environmental standard for AI »
