LLMs et apprentissage subliminal

la distillation de modèles permet de transférer des traits comportementaux invisibles et sans rapports directs avec les données d'entraînement


https://arxiv.org/abs/2507.14805

la transmission de l'information n'est pas sémantique, elle ne repose pas sur la signification réelle, mais fonctionne par résonance statistique au sein des structures latentes.

C'est chouette

bah j'imagine que dans la distillation le model student imite le comportement du model master sans forcement comprendre le cheminement de raisonemment

Pas compris l'image

Intéressant

Mézenkor

on entraîne un modèle A sur des données générées par un modèle B (ici des suites de nombre aléatoire). on suppose également que le modèle B répond "chouette" à la question "quel est on animal préféré ?". Bien que la question n'ait pas de rapport avec les données d'entraînement on retrouve le même phénomène sur le modèle A post-entraînement.

Au début, tu as deux modèles : un qui répond la chouette quand tu lui demandes son animal préféré et un autre qui répond le dauphin.

Tu demandes pleins de fois à celui qui préfère la chouette de compléter des suites de nombres.

Tu récupères ses réponses et tu entraînes l'autre modèle (celui qui préfère les dauphins) avec ces données.

Ensuite, tu demandes à ce modèle nouvellement entraîné son animal préféré. Il te répondra la chouette, et pas le dauphin comme avant son nouvel entraînement.

peut être mais ce qui est surtout intéressant c'est que le modèle student imite ce comportement peu importe les données générées par le modèle master sur lesquels on l'entraîne.

C'est rigolo quand c'est des chouettes et des dauphins. Mais c'est inquiétant parce que tu peux faire un modèle qui aura les opinions politiques que tu veux en étant 100% OpenSource, y compris sur les données d'entraînement, de façon reproductible et vérifiable, sans que ces opinions politiques soient visibles pour ceux qui voudraient vérifier.

qui dit que l'homme transmettrait des informations qui ont du sens ? qui dit que l'homme ne pourrait pas fonctionner comme une ia ?

@Yoneda et @Lit Ok. La préférence du modèle B pour les chouettes influe sur sa réponse à une question sans rapport et cette réponse (un nombre suffisant de couples prompt/réponse) "contient" sa préférence chouette et la transfère au modèle A. Merci pour vos explications.

Suis en train de décortiquer l'article.

Il y a quelques contraintes pour que ça fonctionne :


Je me demande si cela a des liens avec l'hypothèse du ticket de loterie ( https://en.wikipedia.org/[...]hypothesis?useskin=vector ). Je suppose que le fine-tuning du modèle enseignant identifie et renforce un ticket gagnant particulier (ou une famille de tickets), et lorsque le modèle étudiant partage la même seed, ce ticket se retrouve dans les mêmes coordonnées. Le fine-tuning sur les sorties du modèle enseignant active donc ce ticket spécifique à l’intérieur du modèle étudiant, même si les données de surface sont sémantiquement non pertinentes.

ce qui différencie chat gpt normal et chat gpt chouette dans l'exemple c'est juste l'ensemble de neurones, sinon l'algorithme est strictement le même
tu dis que l'ia ne comprend ce qu'il dit, que ça n'a aucune sémantique

mais pourquoi l'homme devrait avoir une sémantique dans ce qu'il dit ?

c'est pas vraiment le propos et je n'ai jamais prétendu qu'un llm ne comprenait pas le contenu qu'il générait. il faudrait commencer par définir ce qu'on entend par "compréhension"

"la transmission de l'information n'est pas sémantique, elle ne repose pas sur la signification réelle, mais fonctionne par résonance statistique au sein des structures latentes.
"
qu'est-ce que tu dis ici alors ?

Bien. Ça m'a inspiré une expérience. Je vais dire à un modèle qu'il préfère les chouettes dans son prompt système. Puis je vais lui faire compléter des séries de nombres. J'aurai un historique du type

user: 12 45 32
assistant: 12 45 32 68 754 96
...etc...

que je vais faire ingérer à un modèle vierge pour voir s'il préfère les chouettes.

Du fun en perspective.

je parlais de transmission d'information dans le processus de distillation qui ne dépend pas d'un rapport sémantique avec les données d'entraînement.