On a récemment expliqué sur ce blog ce qu’est la quantization d’un modèle d’IA, cette technique qui réduit la précision des données pour faire tenir un modèle sur du matériel grand public. Reste une question très concrète, celle que se posent la plupart des lecteurs une fois le principe compris : entre toutes les versions disponibles de Qwen3.8-27B, laquelle télécharger pour VOTRE ordinateur précis ? Ce guide répond directement à cette question, sans revenir sur la théorie déjà expliquée.
Qwen3.8-27B en deux lignes
Sorti le 14 août 2026 par l’équipe Qwen d’Alibaba sous licence libre Apache 2.0, Qwen3.8-27B est un modèle capable de comprendre le texte et l’image, avec une fenêtre de contexte de 262 144 tokens, largement suffisante pour analyser un document long ou une conversation étendue en une seule fois. C’est sa taille, à la fois puissante et raisonnable, qui en fait un excellent candidat pour un usage local.
Le tableau de décision, selon votre carte graphique
Voici, à partir des résultats du test indépendant réalisé par le laboratoire Quesma (détaillé dans notre article sur la quantization), la version à privilégier selon la mémoire vidéo (VRAM) réellement disponible sur votre machine.
| Votre matériel | Version recommandée | Ce que vous obtenez |
| Carte graphique 8 Go de VRAM (RTX 3060, RTX 4060) | 2-bit (UD-Q2_K_XL, ≈ 10,7 Go) : tient de justesse en déchargeant une partie sur la RAM, ou passez au CPU | Fonctionnel mais avec une perte de qualité visible, en particulier sur des tâches complexes |
| Carte graphique 12 à 16 Go de VRAM (RTX 4060 Ti 16 Go, RTX 4070) | 4-bit (Q4_K_M, ≈ 17 Go) en déchargeant une petite partie sur la RAM, ou 2-bit pour un confort maximal | Bon compromis ; le 4-bit reste préférable dès que votre configuration le permet |
| Carte graphique 24 Go de VRAM (RTX 3090, RTX 4090) | 4-bit (Q4_K_M, ≈ 17 Go) | Recommandation par défaut : qualité quasiment identique au modèle complet, avec de la marge pour un grand contexte |
| Mac Apple Silicon (mémoire unifiée 24 Go ou plus) | 4-bit (Q4_K_M, ≈ 17 Go) | Fonctionne bien grâce à la mémoire unifiée, partagée entre processeur et puce graphique |
| Poste professionnel avec 32 Go de VRAM ou plus | 8-bit (Q8_0, ≈ 29 Go) | Gain de qualité marginal par rapport au 4-bit ; à réserver si l’espace ne pose aucun problème |
| ⚠️ Le cas à éviter : la version 1-bit Malgré une taille de fichier très réduite (environ 6,2 Go seulement), la version 1-bit de Qwen3.8-27B (UD-IQ1_S) s’effondre sur les tâches de raisonnement complexe selon le test de Quesma, avec des scores proches du hasard. Ne la choisissez que si vous n’avez absolument aucune autre option matérielle, et gardez à l’esprit que la qualité des réponses en sera fortement dégradée, dans ce cas, mieux vaut souvent se tourner vers un modèle plus petit nativement (comme une version 7B ou 8B) plutôt que de sur-compresser un modèle de 27 milliards de paramètres. |
Comment récupérer la bonne version en pratique
- Avec Ollama : la commande ollama pull suivie du nom du modèle et du tag de quantization souhaité télécharge directement la bonne version.
- Avec LM Studio : l’interface graphique affiche la taille de chaque quantization disponible avant le téléchargement, avec une estimation de compatibilité selon votre matériel détecté automatiquement.
- Sur Hugging Face : les quantizations produites par l’équipe Unsloth, utilisées dans le benchmark de référence, sont identifiables par leur préfixe dans le nom du fichier.
| 📌 À noter : la marge nécessaire pour le contexte Le tableau ci-dessus prend en compte uniquement le poids du modèle lui-même. Il faut également réserver de la mémoire vidéo pour le « cache KV », c’est-à-dire l’espace nécessaire pour que le modèle se souvienne du début de votre conversation pendant qu’il génère sa réponse. Plus votre conversation ou votre document est long, plus cet espace supplémentaire est important, comptez, à titre indicatif, environ 2 à 3 Go de VRAM additionnels pour un contexte de 32 000 tokens avec Qwen3.8-27B. |
Et vous, qu’en pensez-vous ?
- Quelle configuration matérielle utilisez-vous pour faire tourner des modèles d’IA en local, et quelle quantization avez-vous choisie ?
- Préférez-vous Ollama, LM Studio, ou un autre outil pour gérer vos modèles IA locaux ? Pourquoi ?
Source : Quesma