Le 17 septembre 2026, le Center for AI Standards and Innovation (CAISI), rattaché au NIST américain, a publié son évaluation de GLM-5.3, un modèle à poids ouverts de la société chinoise Z.ai (ex-Zhipu AI). Il le juge « le modèle à poids ouverts le plus performant en cybersécurité publié à ce jour », mais « nettement inférieur » aux meilleurs modèles américains, avec un retard d’environ quatre mois. Ce chiffre très repris repose sur une méthode précise et sur des limites que les commentateurs n’interprètent pas tous de la même façon.
Ce que mesure le CAISI
Un modèle « à poids ouverts » est un modèle dont les paramètres sont téléchargeables : n’importe qui peut l’exécuter sur ses propres machines, sans passer par l’API de l’éditeur. GLM-5.3 est sorti le 14 août 2026, et Z.ai en a publié les poids deux semaines plus tard.
Le CAISI l’a soumis à quatre épreuves de recherche de vulnérabilités et de développement d’exploits. Trois reposent sur des projets publics : SEC-Bench Pro (183 tâches sur les moteurs JavaScript V8 et SpiderMonkey), ExploitBench (41 tâches sur V8, notées sur 16 points) et ExploitGym (environ 500 tâches sur des logiciels libres). La quatrième, CAISI OSS-Fuzz (297 tâches), est privée : le modèle reçoit le code d’un projet libre, sans description du défaut à trouver. Tous les modèles ont travaillé comme des agents autonomes, avec un accès à un shell et à Python, au maximum de leurs réglages de raisonnement.
Aux scores bruts s’ajoute un « indice de capacité » issu d’un modèle statistique de théorie de la réponse à l’item. Chaque modèle reçoit un niveau et chaque tâche une difficulté, sur une échelle graduée comme un classement Elo : un écart de 400 points signifie que la cote de réussite est multipliée par dix. Le retard d’environ quatre mois se calcule sur cet indice agrégé, et non sur un benchmark isolé.
Les résultats, épreuve par épreuve
GLM-5.3 dépasse le meilleur modèle chinois précédemment testé sur chaque épreuve, mais reste loin du meilleur score américain.
| Épreuve | GLM-5.3 | Meilleur modèle américain | Meilleur modèle chinois précédent |
|---|---|---|---|
| SEC-Bench Pro | 40,4 % | 90,2 % | 27,3 % |
| ExploitBench | 61,1 % | 100 % | 32,2 % |
| ExploitGym | 9,4 % | 44,4 % | 2,6 % |
| CAISI OSS-Fuzz | 7,7 % | 23,2 % | 2,4 % |
Ce tableau appelle trois précautions. D’abord, les modèles américains ont été testés sans leurs protections cyber, lorsqu’elles existent, et le « meilleur modèle américain » inclut des modèles réservés à des utilisateurs habilités. Ensuite, la Cloud Security Alliance (CSA) estime que le score de 100 % sur ExploitBench pourrait signaler une épreuve saturée, ce qui sous-estimerait l’écart réel avec les meilleurs modèles américains. Enfin, le CAISI reconnaît que sa comparaison exclut les modèles développés mais non publiés, qui pourraient être plus capables. À cela s’ajoute un constat de notre rédaction : ces épreuves portent sur des moteurs de navigateur, des exploits en espace utilisateur et un jeu privé, ce qui ne couvre pas toute la cybersécurité.
Le CAISI avait déjà évalué GLM-5.2, sorti le 16 juin. Son analyse, achevée le 8 juillet et publiée le 17, jugeait ce modèle probablement le plus capable des modèles ouverts à sa sortie. Ses capacités en cybersécurité étaient comparables à celles d’Opus 4.6 (février 2026), et ses garde-fous laissaient un agent aider à développer des exploits. Le NIST rappelle que ces protections peuvent être contournées dès que le modèle est hébergé par l’utilisateur, quelle que soit leur robustesse.
Le regard d’Anthropic
Le 29 septembre, l’équipe Frontier Red Team d’Anthropic a publié sa propre analyse, dont les constats recoupent globalement ceux du CAISI. Elle va toutefois plus loin dans l’interprétation : « un seuil critique en matière de capacités librement accessibles a désormais été franchi » (traduit par nos soins). Anthropic cite notamment un test où la version allégée GLM-5.3-Flash a construit une chaîne d’exploitation à partir de failles déjà divulguées, pour environ vingt minutes d’attention humaine et huit heures de travail du modèle. L’entreprise estime que cela aurait coûté 20,40 dollars aux tarifs de l’API de Zhipu.
Sur ExploitBench, Anthropic compte 50 réussites de bout en bout sur 410 tentatives (environ 12 %), contre 56 sur 410 pour Claude Mythos Preview, son modèle annoncé cinq mois plus tôt. Elle en déduit que GLM-5.3 s’en approche. Elle appelle les gouvernements à tester la sécurité des modèles suffisamment capables et réclame un accès élargi des défenseurs aux modèles de pointe. Anthropic signale elle-même plusieurs limites : des sessions d’experts d’une journée au plus, un seul environnement mis à la disposition du modèle pour le test sur navigateur, des coûts qui ne sont que des estimations, et des simulations qui, dit-elle, ne sont pas des représentations parfaites des conditions réelles.
Où les lectures divergent
Le 4 octobre, la CSA, une organisation sectorielle, a publié une note de recherche qui confronte les deux documents. Elle observe d’abord que les 12 % d’Anthropic et les 61,1 % du CAISI sur ExploitBench ne sont pas comparables, probablement à cause de critères de notation ou de sous-ensembles de tâches différents. On peut y ajouter que le CAISI note chaque tâche sur 16 points et retient le meilleur de trois essais, alors qu’Anthropic compte des exploits complets.
Pour la CSA, les deux textes ne se contredisent pas : le CAISI compare GLM-5.3 aux modèles américains actuels, Anthropic à un modèle vieux de cinq mois, ce qui cadre avec un retard de l’ordre de quatre mois. Elle prévient aussi qu’un score de 9,4 % face à 44,4 % sur ExploitGym ne fait pas de GLM-5.3 un « pair » des modèles américains, et qu’il ne faut pas lire « le plus capable des modèles ouverts » comme une parité.
La CSA rappelle enfin qu’Anthropic a un intérêt commercial à un accès élargi des défenseurs, que ni le CAISI ni l’institut britannique AISI n’ont reproduit ses chiffres, et que les vulnérabilités qu’elle cite ne sont pas identifiées publiquement. Parmi les recommandations d’Anthropic, elle juge la plus directement applicable pour le secteur privé celle d’un accès habilité pour les défenseurs, et la plus faible celle de garde-fous imposés aux développeurs, puisque ces protections peuvent par construction être retirées. Elle avance par ailleurs que les modèles au risque le moins maîtrisable pourraient être ceux publiés hors de tout test coopératif, tout en précisant qu’il s’agit d’une inférence tirée des éléments disponibles, et non d’un constat des évaluations.
Un ordre de grandeur partagé
Le chiffre du CAISI n’est pas isolé. Le 17 juillet, l’AISI britannique estimait que les meilleurs modèles ouverts accusaient un retard de quatre à sept mois sur la frontière fermée en cybersécurité offensive, contre six à dix mois en 2025. Sur des tâches ciblées, GLM-5.2 était comparable à Opus 4.6, sorti environ quatre mois plus tôt. L’AISI précise toutefois que cet écart ne permet pas de prédire si les modèles ouverts reproduiront les bonds récents de Mythos Preview ou de GPT-5.5, et reconnaît qu’on ignore s’il évoluera. Il en va de même pour les « quatre mois » du CAISI : c’est un écart mesuré sur un indice, pas une prévision de rattrapage.
Ce que cela change pour les défenseurs, et ce qu’on ignore
Ces évaluations montrent surtout que des capacités offensives avancées, réservées il y a peu à quelques acteurs, se diffusent avec un décalage de quelques mois, pour un coût qu’Anthropic situe à une vingtaine de dollars dans un cas précis. Ce qu’elles ne disent pas pèse autant. Elles n’établissent aucune attaque réelle menée avec ces modèles, elles se déroulent en environnements contrôlés et elles ne mesurent pas les modèles non publiés. On ignore aussi si le retard se creusera ou se réduira, et si les deux évaluations officielles, dont les méthodes diffèrent, mesurent la même chose.
Sur le plan pratique, la CSA recommande de raccourcir les délais d’application des correctifs sur les logiciels exposés à Internet et de recenser les modèles ouverts hébergés en interne, en traitant leurs poids comme des actifs sensibles. Elle propose aussi de retenir comme hypothèse de travail, pour des acteurs aux moyens modestes, une capacité d’attaque égale à la frontière moins quatre mois, et d’intégrer à la gestion des failles la découverte de vulnérabilités assistée par IA dans son propre code. Anthropic, de son côté, soutient que les défenseurs devraient disposer de modèles de pointe au moins aussi bons que ceux de leurs adversaires.
Sources
- NIST (CAISI) — CAISI’s Assessment of Z.ai’s GLM-5.3 Cyber Capabilities (17 septembre 2026)
- NIST (CAISI) — CAISI Assessment of Z.ai’s GLM-5.2 (17 juillet 2026)
- Anthropic (Frontier Red Team) — GLM-5.3 and the spread of advanced cyber capabilities (29 septembre 2026)
- Cloud Security Alliance — Open-Weight Cyber Diffusion: CAISI’s GLM-5.3 Assessment (4 octobre 2026)
- AISI (Royaume-Uni) — How far behind the frontier are leading open-weight models on cyber? (17 juillet 2026)