Demandez à une IA de compter les « r » dans « fraise ». Il y a encore peu, elle se trompait avec un aplomb désarmant. Pourquoi ? Parce qu’elle ne voit jamais le mot « fraise » lettre par lettre. Elle voit un ou deux jetons (des tokens), des blocs opaques que quelqu’un a découpés pour elle, des années avant qu’elle n’ouvre son premier livre.
Et si on retirait ce découpeur ? Si l’IA lisait le texte tel qu’il existe réellement dans la mémoire d’un ordinateur, octet par octet ? Ce n’est plus une lubie de laboratoire : début octobre 2026, trois publications indépendantes ont ravivé le débat, dont une dans la revue Nature. On fait le point.
Pourquoi les tokens posent problème
Le tokeniseur est un peu le vieux traducteur de poche qu’on traîne depuis le début. Il rend de grands services, mais il a trois défauts connus.
- Il est aveugle aux lettres. Compter des lettres, inverser un mot, repérer une faute : tout cela devient pénible quand le mot est un bloc indivisible.
- Il favorise l’anglais. Son dictionnaire a été bâti surtout sur des textes anglophones. Un mot zoulou, haoussa ou finnois est haché en fragments, ce qui coûte plus cher et se comprend moins bien. Nous en parlions à propos de MORENA, l’IA qui a dû refaire son propre découpeur pour douze langues africaines.
- Il est figé. Une fois le tokeniseur fabriqué, on ne le modifie plus sans tout réentraîner. Un nouveau mot d’argot ou un nouveau langage de programmation devra se contenter de morceaux mal adaptés.
Le revers de la médaille : des séquences interminables
Lire des octets, c’est lire plus lentement. Un mot comme « bonjour » devient 7 octets, mais un seul token. Et les caractères accentués ou non latins coûtent plus : en UTF-8, le « é » occupe 2 octets, un caractère chinois 3, un emoji 4. Selon les travaux récents, une séquence d’octets est quatre à cinq fois plus longue qu’une séquence de tokens. Or une IA dont le texte à lire s’allonge consomme plus de calcul et plus de mémoire.
Pensez à lire un roman en épelant chaque lettre à voix haute. Vous ne rateriez plus aucune faute, mais vous y passeriez la nuit. Tout l’enjeu de la recherche est donc de garder la précision de la lecture lettre à lettre sans payer le prix du temps.
Trois travaux d’octobre 2026 à retenir
1. Ai2 et Nature : transformer les IA existantes en « lectrices d’octets »
L’institut américain Ai2 (celui des modèles Olmo) et ses partenaires ont publié le 7 octobre dans Nature une méthode baptisée « byteification ». L’idée : ne pas repartir de zéro, mais retrofitter (adapter après coup) un modèle à tokens pour qu’il lise des octets. On garde son « cerveau » central, on remplace ses yeux.
- Coût de la conversion : environ 49 milliards de tokens d’entraînement, soit moins de 1 % du budget d’un entraînement classique selon les auteurs.
- Modèles obtenus : Bolmo 1B et 7B (dérivés d’Olmo), mais aussi des versions d’essai à partir de Qwen3 8B et Llama 3 8B.
- Résultats : sur les tâches centrées sur les lettres, les modèles convertis dépassent nettement leurs versions d’origine (près de 20 points de mieux sur l’ensemble des tests de caractères selon Ai2). Bolmo 7B bat aussi les autres modèles à octets comparables.
- Limites reconnues : baisse notable en programmation, et un modèle un peu plus lent (environ 125 octets par seconde contre 150 pour la version à tokens).
Ai2 a mis en ligne les poids de Bolmo 1B et 7B, les données d’entraînement et le code, sur Hugging Face et GitHub. Le 1B est le plus accessible pour tester sur un PC modeste, avec les outils d’IA locale habituels. Pensez à vérifier la licence sur chaque page avant tout usage commercial.
2. Des chercheurs du camp Meta : « les octets finissent par gagner »
Une équipe réunissant notamment Luke Zettlemoyer et Mike Lewis, présentée par la presse comme issue de Meta et de l’Université de Washington, a publié le 11 septembre une étude au titre savoureux : Breaking the Token Ceiling (« briser le plafond des tokens »). Les chercheurs ont comparé des modèles d’environ 1 milliard de paramètres, entraînés jusqu’à mille milliards d’octets, avec ou sans tokens.
- Au début de l’entraînement, les modèles à tokens prennent la tête, puis plafonnent.
- Les modèles à octets démarrent derrière, mais montent plus haut : ils égalent leurs rivaux avec environ six fois moins de données.
- En prolongeant les courbes, ils estiment un gain pouvant atteindre 4 % à terme. Attention : c’est une projection, pas une mesure.
3. Deux universités chinoises : l’allongement n’est pas qu’un défaut
Des équipes de l’East China Normal University et de Fudan (Shanghai) ont publié le 5 octobre une étude sur des modèles à octets de 200 millions à 3 milliards de paramètres, sans architecture exotique. Leur thèse : les octets supplémentaires sont aussi du temps de calcul en plus que l’IA peut utiliser pour réfléchir.
- Sur un test de manipulation de mots (CUTE), le modèle à octets de 3 milliards obtient 99,9 %, contre 80,8 % pour son équivalent à tokens.
- Mais à budget de calcul identique, les modèles à tokens restent meilleurs. Les modèles à octets demandent environ 3,2 fois plus d’octets de données par paramètre pour être optimaux.
- Surprise : les modèles à octets apprennent tout seuls à regrouper les lettres en petits segments, comme s’ils réinventaient le tokeniseur par eux-mêmes.
Tokens contre octets : le match
| Critère | Modèle à tokens | Modèle à octets |
|---|---|---|
| Alphabet | 50 000 à 200 000 tokens, fixés à l’avance | 256 octets, universel |
| Longueur du texte lu | Courte | 4 à 5 fois plus longue |
| Tâches sur les lettres | Faible (compter, inverser, épeler) | Excellent (jusqu’à 99,9 % sur CUTE) |
| Langues rares, argot, code | Mal découpés, plus chers | Aucun mot inconnu |
| Coût à budget égal | Avantage (selon les travaux chinois) | Plus cher, à compenser |
| Maturité | Technologie éprouvée | Encore expérimentale |
Alors, les tokens sont-ils condamnés ?
Pas demain. Aucun grand assistant grand public n’est aujourd’hui construit sur des octets, et les modèles à tokens gardent l’avantage à coût égal. Mais le sens de la recherche change : on ne se demande plus « les octets marchent-ils ? », mais « comment les rendre assez rapides pour ne plus s’en passer ? ». Les astuces en vogue ? Regrouper les octets en patchs à la volée, ou reconvertir un modèle existant, comme Ai2.
Si la voie des octets se confirme, on pourrait voir des IA plus justes sur les langues peu dotées (haoussa, lingala, wolof…), plus fiables sur le code et les fautes de frappe, et qui ne facturent plus la « taxe linguistique » du découpage. Ce sont des perspectives plausibles, pas encore des garanties : les études citées ici se concentrent surtout sur l’anglais et sur des modèles de petite taille.
Et vous, qu’en pensez-vous ?
Le tokeniseur est un bricolage devenu institution. Il est possible qu’on s’en souvienne comme on se souvient des disquettes : pratique en son temps, puis dépassé par un matériel plus simple et plus général. Mais « possible » n’est pas « acquis », et la facture de calcul reste le juge de paix.
Source : Nature
