Qwen 3.8 à 1500 tokens/s : la vitesse d’inférence qui change la donne pour l’IA locale

On a l’habitude, en intelligence artificielle, de mesurer les progrès en termes d’intelligence : tel modèle répond mieux, raisonne mieux, se trompe moins souvent. Cette semaine, c’est un autre indicateur qui fait le buzz : la vitesse pure. Le fournisseur de puces Cerebras a ajouté le modèle ouvert Qwen 3.8 27B, développé par Alibaba, à sa plateforme d’inférence, avec un débit d’environ 1500 tokens par seconde. Pour vous donner une idée, c’est une vitesse à laquelle personne ne peut lire, même en diagonale : le texte s’affiche plus vite que l’œil humain ne peut le suivre. On vous explique pourquoi ce chiffre compte, et ce qu’il change concrètement si vous vous intéressez à l’IA en local.

Qwen 3.8, c’est quoi ?

Qwen 3.8 27B est un modèle de langage développé par Alibaba, l’un des rares grands groupes technologiques à publier régulièrement des modèles d’IA en open source (sous licence Apache 2.0, l’une des licences les plus permissives qui existent). Le « 27B » signifie que le modèle compte 27 milliards de paramètres : c’est un format « dense », c’est-à-dire que tous ces paramètres sont mobilisés à chaque calcul, contrairement aux modèles dits « Mixture of Experts » qui n’en activent qu’une fraction.

• Il est multimodal : il comprend aussi bien du texte que des images (formats PNG et JPEG) ;
• Il est pensé pour le codage agentique, l’utilisation d’outils (function calling), la recherche et les tâches longues ;
• Sa fenêtre de contexte native atteint 262 144 tokens (environ 200 000 mots), extensible techniquement jusqu’à 1 million de tokens grâce à une technique appelée YaRN ;
• Son niveau de raisonnement est réglable : on peut lui demander de réfléchir plus ou moins longuement selon la difficulté de la tâche.

🔵 Pour les non-initiés, c’est quoi l’« inférence » ? L’« entraînement » d’une IA, c’est la phase où on lui apprend à parler en lui montrant des milliards d’exemples. L’« inférence », c’est tout autre chose : c’est le moment où le modèle, déjà entraîné, génère une réponse à votre question. La vitesse d’inférence, mesurée en tokens par seconde, c’est simplement la rapidité avec laquelle le texte de la réponse s’affiche.

1500 tokens par seconde, c’est beaucoup ?

Pour comparer, un token représente en moyenne trois quarts de mot en anglais, un peu moins en français à cause des accords et des mots composés. Un débit de 1500 tokens par seconde correspond donc à peu près à 1000 mots par seconde, soit environ deux pages de roman… chaque seconde.

Configuration	Vitesse approximative	Repère
ChatGPT / Claude via navigateur classique	20 à 80 tokens/s	Un rythme de lecture humaine confortable
Modèle local sur un bon PC gamer (GPU grand public)	10 à 40 tokens/s	Dépend fortement de la carte graphique
Qwen 3.8 27B sur Cerebras	~1500 tokens/s	20 à 75 fois plus rapide qu’un usage grand public classique
gpt-oss-120b sur Cerebras (même plateforme)	~3000 tokens/s	Le record actuel du catalogue public Cerebras

Le secret : une puce qui ne ressemble à aucune autre

La quasi-totalité des IA du marché tournent sur des cartes graphiques (GPU), notamment celles de Nvidia. Cerebras, elle, a fait un pari radicalement différent : construire une seule puce géante, la « Wafer-Scale Engine » (WSE), qui occupe la totalité d’une plaque de silicium habituellement découpée en centaines de petites puces.

L’avantage de cette approche tient à un détail technique qui change tout : sur un GPU classique, le modèle doit sans cesse faire des allers-retours entre le processeur et sa mémoire externe (la HBM, une mémoire rapide mais physiquement séparée). Sur la puce Cerebras, les paramètres du modèle restent stockés directement sur la puce elle-même, dans une mémoire appelée SRAM. Résultat : plus besoin de faire voyager les données sur de longues distances électriques, et la vitesse de génération explose.

🟡 Pour mieux comprendre : Imaginez un cuisinier qui doit aller chercher chaque ingrédient dans une réserve au sous-sol (le GPU et sa mémoire externe) contre un cuisinier qui a tous ses ingrédients déjà posés sur son plan de travail (la puce Cerebras). Le second sera toujours plus rapide, quelle que soit sa dextérité.

Ce que ça change concrètement

Cette vitesse n’est pas qu’un chiffre impressionnant à afficher sur un site web. Elle a des conséquences pratiques bien réelles :

• Les agents IA qui exécutent des tâches en plusieurs étapes (chercher une information, l’analyser, écrire du code, corriger une erreur) deviennent quasi instantanés, alors qu’ils prennent aujourd’hui plusieurs dizaines de secondes voire des minutes ;
• Les usages interactifs en temps réel (correction de code en direct, assistant vocal, traduction simultanée) deviennent beaucoup plus fluides ;
• Pour les développeurs qui font tourner de nombreux appels IA en boucle (les fameux « workflows agentiques »), le temps total d’exécution peut être divisé par dix ou vingt.

Attention, ce n’est pas non plus la panacée

Les premiers retours d’utilisateurs tempèrent l’enthousiasme sur plusieurs points :

• La vitesse concerne uniquement la génération de la réponse (la sortie) : le traitement de la question posée (l’entrée) n’est pas plus rapide que sur d’autres plateformes ;
• L’offre publique gratuite est très limitée : seulement 5 requêtes par minute et 30 000 tokens non mis en cache par minute, ce qui la rend impraticable pour un usage agentique intensif ;
• Plusieurs utilisateurs rapportent des soucis de facturation et de support client dès qu’ils tentent de passer sur l’offre payante ;
• Certains commentateurs soupçonnent Cerebras de proposer ce service public avant tout comme vitrine technologique, pour ensuite orienter les gros clients vers de la capacité dédiée bien plus coûteuse.

🔴 Le vrai bon plan reste ailleurs Qwen 3.8 27B étant publié sous licence Apache 2.0, ses poids sont librement téléchargeables sur Hugging Face. Vous pouvez donc le faire tourner localement, chez vous, avec des outils comme LM Studio ou Ollama. Vous n’atteindrez évidemment pas 1500 tokens/seconde sur un PC grand public, mais vous gardez la confidentialité totale de vos données, sans dépendre d’un service en ligne ni de ses quotas.

Cette annonce illustre bien une tendance de fond de l’IA en 2026 : la course à l’intelligence pure marque un peu le pas, et la course à la vitesse et au coût prend le relais. Un modèle open source de taille raisonnable (27 milliards de paramètres, ce qui reste modeste comparé aux mastodontes fermés) qui tourne vingt fois plus vite que la normale, c’est une promesse concrète pour tous les usages où l’attente est le vrai frein : agents autonomes, assistants vocaux, outils professionnels. Reste que l’offre publique testée ici ressemble surtout à une démonstration de force technologique plutôt qu’à un service prêt pour une production sérieuse à grande échelle.