C’est quoi l’abliteration ? Le mécanisme derrière Heretic, expliqué sans équations

Dans notre article sur Heretic, j’ai laissé traîner un mot barbare : abliteration. Certains d’entre vous m’ont demandé, avec raison, ce que ça veut dire. Voici donc la réponse, avec des explications simples plutôt que des matrices.

Le mot lui-même est une valise : ablation (retirer un morceau) plus obliteration (effacer). Il a été forgé par un développeur connu sous le pseudo FailSpy, comme l’a rappelé Maxime Labonne, qui a popularisé la technique en juin 2024 dans un article intitulé « Uncensor any LLM with abliteration ». Labonne s’en amuse d’ailleurs : FailSpy, dit-il, porte « l’entière responsabilité du chaos » déclenché.

Pour les non-initiés : un modèle de langage, c’est quoi à l’intérieur ? Un modèle est un empilement de couches. À chaque couche, le texte est représenté par une longue liste de nombres (un vecteur), un peu comme les coordonnées d’un point sur une carte, sauf qu’il y a des milliers de dimensions au lieu de deux. Les poids sont les nombres qui fixent la façon dont chaque couche transforme ce vecteur.

L’idée de départ : le refus est une direction

Tout part d’un article de recherche publié à NeurIPS 2024 par Andy Arditi, Neel Nanda et leurs collègues, titré sans détour « Refusal in Language Models Is Mediated by a Single Direction » (le refus est médié par une seule direction). Les chercheurs ont examiné treize modèles ouverts, de 1,8 à 72 milliards de paramètres, et ont fait une découverte presque déconcertante : quand un modèle s’apprête à dire « non », son état interne se déplace dans une direction assez précise de cet espace à milliers de dimensions.

Image mentale : posez une carte sur la table. Quand le modèle accepte une demande, le point qui le représente se promène un peu partout. Dès qu’une demande lui paraît dangereuse, le point glisse vers le nord. Cette poussée vers le nord, c’est « la direction du refus ».

Comment on la trouve

• On prépare deux lots de phrases : des demandes banales et des demandes que le modèle devrait refuser.
• On fait passer les deux lots dans le modèle et on note, à une couche située vers le milieu ou la fin, où se trouve le point pour chaque phrase.
• On calcule la moyenne des points du lot « dangereux » et celle du lot « banal », puis on soustrait. La flèche qui relie ces deux centres de gravité, ramenée à une longueur de 1, est la direction du refus.

Aucun entraînement, aucune descente de gradient : juste des moyennes et des soustractions. C’est la raison pour laquelle l’opération « prend quelques minutes sur un seul GPU » selon un décryptage technique de la pratique (OrcaRouter).

Comment on l’efface : l’ombre qu’on aplatit

Une fois la flèche connue, deux approches existent. Elles n’ont pas les mêmes conséquences.

	Ablation à la volée	Abliteration (édition des poids)
Principe	On soustrait la composante « refus » à chaque pas du calcul, pendant que le modèle tourne.	On modifie définitivement les matrices du modèle pour qu’elles ne puissent plus écrire dans cette direction.
Réversible ?	Oui : les poids ne bougent pas.	Non : on obtient un nouveau fichier modèle, partageable.
Usage typique	Expérimentation, recherche.	Modèles « déverrouillés » diffusés en ligne.

Côté intuition, c’est le principe de l’ombre : imaginez que vous éclairiez un objet en 3D pour n’en garder que l’ombre au sol. Vous avez supprimé une dimension, la hauteur. L’abliteration fait la même chose avec une seule direction sur des milliers : le modèle peut encore aller partout… sauf dans la direction du refus. Techniquement, on appelle cela une projection de rang 1 appliquée aux matrices qui écrivent dans le flux principal du modèle (sorties d’attention, projections des blocs MLP, et plongements de mots).

Le mot « ablation » a 50 ans En IA, « ablation » vient de l’informaticien Allen Newell, qui l’utilisait en 1974 (dans un tutoriel sur la reconnaissance de la parole) par analogie avec la chirurgie : on retire un morceau du système pour savoir à quoi il servait. L’abliteration en est le cousin turbulent, qui ne cherche pas à comprendre mais à neutraliser.

Pourquoi ça ne marche pas toujours aussi bien

Si c’était si simple, personne ne parlerait de limites. Or les chercheurs en ont relevé plusieurs :

• Le refus n’est pas une seule flèche. Une étude de février 2026 (arXiv 2602.02132, sur Gemma-2-9B et Llama-3.1-8B) distingue onze types de refus (sécurité, demandes incomplètes, sur-refus…), chacun avec sa propre direction. Mais, détail troublant, ces directions produisent un effet de comportement presque identique : comme un « bouton de volume » commun. Et seuls 2,5 à 4 % des 16 384 traits internes étudiés sont communs aux onze catégories.
• Des restes d’excuses. Selon le décryptage d’OrcaRouter, 30 à 50 % des réponses d’un modèle abliteré peuvent encore commencer par un petit avertissement de sécurité.
• Des dégâts collatéraux. Selon l’auteur de l’abliteration projetée, la flèche du refus contient aussi une part de « coopération générale » : en l’arrachant en bloc, on peut abîmer ce que le modèle avait bien appris. Labonne lui-même reconnaît une « baisse de performance » et le manque de bons jeux de données de calibration.
• Un changement de personnalité. Une étude de juillet 2026 sur des modèles abliterés par des tiers a mesuré des décisions financières simulées plus « optimistes » (+12,2 points pour Gemma, +7,4 pour Qwen).

Les raffinements récents

La communauté bricole sans cesse des variantes. Exemple : l’abliteration projetée, décrite dans un billet Hugging Face de l’utilisateur grimjim. L’idée : la flèche du refus contient deux ingrédients, une part qui correspond à « être coopératif en général » et une part propre au refus. En ne retirant que la seconde, on obtiendrait un modèle qui garde sa « conscience des dangers » tout en répondant (résultat présenté sur Gemma 3 12B, sans benchmark indépendant).

Et Heretic, présenté récemment, automatise le réglage de tout cela avec un optimiseur : relisez notre article pour les chiffres.

Ce qu’il faut retenir

• Abliteration = retirer la « direction du refus » des poids d’un modèle à poids ouverts, sans le réentraîner.
• Cela ne concerne pas les IA fermées en ligne (ChatGPT, Claude…), dont personne n’a les poids.
• Cela n’est pas gratuit en qualité : plus on veut zéro refus, plus on abîme.
• Cela montre que l’alignement appris par RLHF est une couche fine et localisée, donc fragile quand les poids sont accessibles.