Le principe de base de l’IA ?

Je sais pas trop où poser ça, si c’est pas à sa place je laisse déplacer (de toutes façons j’ai pas le choix, juste pas le 18+ juste pour se foutre de ma gueule svp).
Je m’interroge sur une question : quelle est la base de l’IA pour faire une conversation ?
J’ai travaillé sur les origines des moteurs de recherches, les machines learning depuis 25 ans voir plus, échange à ce sujet, je comprends bien les concepts d’enrichichir la base et d’améliorer la pertinence mais je bute un peu sur le principe de base.
Même si c’est imparfait, la comparaison avec un enfant (que j’entends souvent et que je trouve stupide), d’abreuver le cerveau avec tout un tas d’informations (genre le brancher sur le dico’ + le Becherel + tous les sites disponibles), ça enregistre mais comment simplement répondre à une question de base genre : « que penser de l’Holocauste ? » (bon c’est pas vraiment de base mais c’est pour que ce soit suffisamment explicite. « Il fait beau ajd » ce serait intéressant aussi cela dit).
Bref je vois bien comment décortiquer la phrase / question, aller chercher les infos et les classer par ordre de pertinence.
Mais comment passer à une réponse fluide ? (Et originale)
C’est pas pour réinventer l’eau chaude mais la base de chez base m’échappe.
Vous avez de bons ouvrages à ce sujet ?
(Désolé pour le pavé).

Si ta question c'est 'comment l'ia infere t elle une reponse à partir des informations d'entrainement', la réponse c'est que, depuis les systeme bouclés, on ne sait pas.

La recherche est en cours.

Tant qu'on saura pas, il n'y aura pas d'application sécuritaire de l'ia.

Si tu veux savoir en détails le fonctionnement des transformers je peux te conseiller le papier "attention is all you need"

En gros chaque token dans ta phrase est représenté par un vecteur (qu'on appelle embedding) dans un espace de grande dimension de sorte que la proximité sémantique entre chaque token est traduite par une similarité entre chaque vecteur associé.

Contrairement aux réseaux de neurone récurrents, les mots ne sont pas traités dans un ordre séquentiel (pas besoin de passer par des ResNet ou autres pour garder en mémoire les informations importantes).
On rajoute simplement un vecteur de position à chaque embedding pour que le modèle puisse distinguer "le chat mange la souris" et "la souris mange le chat".

L'idée principale ensuite est que chaque mot regarde tous les autres mots de la phrase pour déterminer quels sont les plus importants.
On utilise pour ça un mécanisme d’attention qui fonctionne un peu comme un dictionnaire dynamique.

Lorsqu'un llm génère du texte, il doit décider quel token vient ensuite.

Il regarde les tokens précédents et pondère grâce au mécanisme d'attention lesquels sont les plus pertinents.
Il construit une représentation contextuelle de ce qu'il a déjà écrit. Une fois que l'attention a produit un vecteur de contexte, le modèle passe ce vecteur dans une couche linéaire finale qui projette le tout vers l'espace du vocabulaire.

Réponse intéressante.
Ça doit être à un niveau que je n’envisage pas dans ma question.
Je parle de la base de la base, avant d’arriver à un tel niveau où l’IA serait capable de formuler des concepts compliqués au sens commun du terme.
Juste le niveau basique pour aligner trois mots qui ne soient pas directement assimilables à une réponse automatique.

L'interprétabilité des modèles est un autre problème mais le fonctionnement derrière est bien connu.

Si j’ai bien compris tu demandes comment fonctionne les LLMs, Large Language Model) cette partie du machine learning qui permet de reconnaître et générer du langage, des mots, des phrases ?

Merci pour cette réponse très complète (sous réserve que ce ne soit pas une réponse générée par un bot de manière ironique, mais je fais confiance).
C’est intéressant mais un peu compliqué je vais relire.
Merci.

Oui sans doutes.
La base de chez base, avant de produire un truc d’exception qui paradoxalement (en fait pas du tout. Une fois qu’on a le principe du train ou de l’automobile faire 2m ou 5000km c’est pareil) est bcp plus simple.
Il ne s’agirait que d’élargir ? Ou c’est juste une appellation ?

Voici le lien du papier
https://arxiv.org/abs/1706.03762

Je peux aussi te conseiller ces visualisations
https://onche.org/topic/9[...]-l-architecture-des-ll-ms

Si tu parle de la réponse "aleatoire" qui change à chaque fois. L'IA part d'un seed (graine) aléatoire pour répondre.
Pour les LLM, il y a aussi la temperature (0 deterministe, 1 purement creative), le top-k et top-p (probabilité du mot suivant évalué par rapport au reste des mots precedent).


PS : Sinon la revolution de l'IA c'est vraiment Transformers et Attention qui, basiquement, mettent en équation mathematique la compréhension et l'attention.

PS2 : Sinon pour simplifier à l'extreme, l'IA c'est simplement de la complétion de texte trés avancée.

Lis "Attention is all you need" et tu comprendras mieux

L'IA ne se pose pas de questions et génère simplement un token après l'autre. En gros quand tu lui poses la question "Tu vas bien ?"

L'IA te répond "oui je vais bien merci" mais en réalité elle a réfléchi entre chaque mot et a déterminé quel mot, selon le contexte, elle devait répondre ensuite.

Elle ne répond "je", que parce-que c'est ce qui lui semble être le plus approprié à répondre après la question "tu vas bien ?" et le début de réponse "oui". Mais elle n'a aucune idée à ce moment, de ce qu'elle répondra ensuite.

Elle fait ça jusqu'à ce qu'il lui semble cohérent de répondre "fin de la conversation", moment de fin de la génération de token.

Merci beaucoup je vais voir ça.

Le aléatoire non c’est à la fois trop simple et trop compliqué.
Ça marche avec des questions à la con du genre « il fait beau ? » « le mechua arrive dans 40mn ? » ou « aura-t-on un nouveau gvt à noel ? » mais pour des questions plus évoluées je vois pas trop comment gérer le truc, sauf les fakes agences IA gérées par des indiens et pakistanais.
(Je ne suis pas du tout un fanboy de l’IA qui va tout remplacer. C’est bien pour ça que je pose des questions aussi basiques).

Elle ne formule pas de concepts, elle aligne des mots.

Que ces mots fassent sens relèvent presque du miracle et je me suis parfois demandé si l'intelligence n'était pas beaucoup plus que la capacité discursive.

Il serait plus exacte de dire que la capacité discursive donne une impression d'intelligence, dont on touche vite les limites quand on constate l'absence de modèle derrière le verbiage.

Le sobriquet de perroquet stochastique leur convient parfaitement.

Attention, ça change le calcul pour selectionner le token ... Mais sur des cas trop "simple" ça suffit pas à changer le token tant la proba de le choisir est forte.

Je te conseille, tu as un PC, installe Text-Generation-Webui sur ton PC, avec le modèle Mistral small en GGUF ... Et tente de faire varier les paramétres dans l'outil. (temperature, top, ect)

https://bbycroft.net/llm

Tiens si tu veux visualiser "la base des llms"

Le point faible des IA LLM actuelle, c'est que leur "univers" n'est basiquement que des mots.
Elles n'ont aucune capacité hors des mots (pas de sens comme la vue, de réelle compréhension de la 3D réelle, exploration de la réalité, se déplacer et mémorisé). + La phase d'apprentissage du reseau de neurone est completement distincte de la phase d'utilisation.

Le jour où on aura une IA capable d'explorer le monde réel, de memoriser et de modifier seul son propre réseau ... On pourra potentiellement approcher la conscience humaine.

Ce qui est fort avec l'IA récente, c'est qu'on singe le fonctionnement du cerveau et que ça donne des résultat déjà incroyable, et que c'est probablement juste ça qui permettra de créer une vrai conscience. Sans "magie" ou "theorie de l'âme" ...

La question sur l'intelligence supposée de ces modèles n'a de sens qu'en la présence d'une définition de ce que représente la compréhension.
Si tu supposes que la réalisation de l'intelligence est indépendante du support et qu'elle répond aux mêmes lois physiques que tous les autres phénomènes alors il devient difficile de créer un test empirique permettant de valider ou non l'intelligence d'un système.

Ce qui est certain dans l'état, c'est que les arguments de la chambre chinoise sont relativement obsolètes aujourd'hui lorsqu'on les confronte par exemple aux études de François Chollet avec son benchmark arc-agi, un test précisément structuré de sorte à ce que les modèles ne puissent avoir recours à une quelconque forme de mémorisation pour y répondre, évitant donc la contamination des données d'entraînement avec les données de test.

Alors bien sûr il est toujours possible qu'une forme de biais persiste dans les couches d'attention que l'on serait incapable de détecter...

Ok merci. C’est disponible qu’en kindle apparemment.
Je me doute que l’IA ne se pose pas de question et suit ce pour quoi elle est programmée.
C’est le modèle à son niveau le plus rudimentaire qui m’interroge.

C'est plus ou moins la même chose avec le cerveau humain, nos yeux possèdent des photorécepteurs qui traduisent le spectre de la lumière visible en une information codée.
Il existe déjà des modèles qui manipulent des univers 3D