visualisations de l'architecture des LLMs

C'est passionnant à quel point on peut quantifier le sens sémantique des mots dans les couches d'attention de ces modèles (l'interprétation de ces derniers constitue d'ailleurs un domaine de recherche à part entière)
Il y a presque une part de magie derrière toutes ces calculs matriciels

Voici quelques visualisations de modèles pour comprendre ce qui se passe derrière ces boîtes noires :

https://bbycroft.net/llm
https://poloclub.github.io/transformer-explainer

c'est assez fou

nano-GPT ne possède que 85k paramètres alors que les meilleurs modèles de la planète en possèdent maintenant plus de 100 milliards

et malgré tout, ils sont toujours incapables de répondre à des questions simples

même si leur façon de parler s'améliore

de quoi tu parles ?

ben les IA d'images ont toujours du mal à comprendre beaucoup de mots

les GPT ont toujours besoin qu'on réexplique plusieurs fois des consignes simples, qu'on donne des précisions, qu'on les corrige, etc

Je fav je regarderai plus tard, sur téléphone c'est pas hyper lisible

non je trouve pas. a chaque fois que j'ai besoin de ré expliquer c'est parce que je me suis mal exprimé ou que j'ai oublié un détail essentiel dans ma question

d'ailleurs ça marche tellement bien qu'avec simplement les conseils de grok, j'ai pu creer des scripts pythons alors que j'y connais rien

edit : l'un des topics avec le plus de react rire que j'ai eu c'est un mélange de mes idées et de grok

les machines comprennent les machines, mais si tu l'interroges sur plein de sujets tu verras que parfois (même assez souvent) il ne comprend pas ta question, ou la comprend mais raconte carrément n'importe quoi, même quand la demande est extrêmement simple

enfin je n'ai pas essayé grok, je ne vais pas sur twitter, mais pour les autres c'est comme ça

lien du topic stp ?

je suis pas vraiment d'accord j'ai jamais eu de soucis aussi énorme que ce que tu raconte , tu as des exemples ?
https://onche.org/topic/7[...]-antique-rire-rire-rire/1