Claude Opus 4.6 ou Mistral Devstral 2 : pourquoi je reste chez Anthropic (pour l’instant)

Fin janvier, en l’espace de dix jours, les trois grands acteurs de l’IA pour le code ont tous sorti quelque chose. Mistral a ouvert le bal avec Vibe 2.0 et son modèle Devstral 2, Anthropic a répondu avec Opus 4.6, et OpenAI a suivi avec GPT-5.3 Codex. Pour ceux qui, comme moi, codent tous les jours avec un agent, c’était un peu Noël en janvier.

J’avais une raison particulière de regarder du côté de Mistral. Je défends la souveraineté numérique, et je l’applique à mon propre travail : tout ce qui touche aux données passe par Mistral, en local avec Ollama ou vLLM, ou par son API quand il le faut. C’est d’ailleurs l’architecture que je recommande pour brancher une IA sur les documents d’une entreprise, avec les précautions qui vont avec.

Le code, lui, faisait exception. Je le confie à Claude Code, l’agent d’Anthropic, qui est devenu mon binôme au fil des mois. Il connaît mes projets, mes conventions et mes serveurs MCP, et je ne l’avais jamais remis en question.

Alors quand Mistral a annoncé un agent en ligne de commande à 0,40 $ le million de tokens, là où Anthropic en demande 5, je me suis dit que c’était peut-être l’occasion de refermer la parenthèse.

Les chiffres, d’abord

Sur SWE-bench, le benchmark qui fait résoudre à un modèle de vrais bugs tirés de projets GitHub, Devstral 2 atteint 72 %. Opus 4.6 est à 81 %. Neuf points d’écart pour un prix environ douze fois inférieur : sur le papier, c’est une très bonne affaire, et je ne m’attendais pas à voir un modèle open-weight aussi près du meilleur.

Sauf qu’au quotidien, je demande autre chose à mon agent. Je lui demande de travailler seul dans un terminal : lire le code, lancer les commandes, comprendre l’erreur et recommencer. C’est ce que mesure Terminal-Bench, et c’est aussi la promesse de Vibe CLI. Sur ce terrain, l’écart change d’échelle, avec 65 % pour Opus et 22 % pour Devstral.

C’est ce chiffre-là qui m’a arrêté. Sur certains de mes projets agentiques, Opus atteint déjà ses limites, alors même que je lui ai préparé des skills pour l’aider. Passer à un modèle trois fois moins performant sur ce terrain, ce serait reprendre à la main une bonne partie de ce que je délègue aujourd’hui, et je ne peux pas me le permettre.

Mistral est sur la bonne voie

Il serait injuste d’en rester là. Claude Code a un an d’avance en production, un an de retours du terrain et d’itérations, et il est normal qu’un nouvel entrant soit derrière sur l’autonomie. Il y a un an, personne n’aurait parié sur un modèle open-weight à 72 % sur SWE-bench, et encore moins à ce prix. La trajectoire est la bonne, et j’espère que Mistral va accélérer sur la partie agentique.

Mistral propose surtout déjà ce que personne d’autre n’offre. Vibe CLI est open source, sous licence Apache 2.0, et on peut y brancher le fournisseur de modèles de son choix, qu’il s’agisse d’Ollama, de Mammouth AI ou d’un autre. Devstral Small 2 tourne sur une RTX 3090, sans qu’aucune ligne de code ne quitte la machine. Pour une banque, un ministère ou un industriel de la défense, c’est la condition pour pouvoir utiliser un agent de code tout court.

Pour l’instant, deux fournisseurs

Je reste donc avec un pied de chaque côté : mes données chez Mistral, sans discussion possible, et mon code chez Anthropic, parce que la performance l’exige encore. Ce partage ne me satisfait pas, puisque mon objectif reste le 100 % souverain.

On peut se demander si cette séparation entre données et code est une étape ou un compromis appelé à durer. Pour moi, c’est une étape, et je sais ce qui me fera basculer : le jour où un modèle souverain sera assez fiable en autonomie pour mes projets réels, je changerai d’outil. Tout le reste est déjà prêt, et j’espère que ce jour viendra vite.

Vous vous posez la même question pour votre entreprise, entre la souveraineté de vos données et la performance de vos outils ? Je vous propose d’en parler lors d’un premier échange. Il me permettra de comprendre vos contraintes et de vous dire quelle répartition entre modèles souverains et autres fournisseurs a du sens dans votre cas.