Ce sujet a été résolu
Elle ne formule pas de concepts, elle aligne des mots.
Que ces mots fassent sens relèvent presque du miracle et je me suis parfois demandé si l'intelligence n'était pas beaucoup plus que la capacité discursive.
Il serait plus exacte de dire que la capacité discursive donne une impression d'intelligence, dont on touche vite les limites quand on constate l'absence de modèle derrière le verbiage.
Le sobriquet de perroquet stochastique leur convient parfaitement.
Que ces mots fassent sens relèvent presque du miracle et je me suis parfois demandé si l'intelligence n'était pas beaucoup plus que la capacité discursive.
Il serait plus exacte de dire que la capacité discursive donne une impression d'intelligence, dont on touche vite les limites quand on constate l'absence de modèle derrière le verbiage.
Le sobriquet de perroquet stochastique leur convient parfaitement.
Je ne crois pas avoir « discute » (utilisé) avec des IA telles que définies comme telles pour avoir un retour personnel sur la question.
Juste des témoignages allant dans le sens de réponses ou failles d’IA qui un peu bizarrement ne savent pas gérer le « je ne sais pas » mais fournissent une réponse, juste mauvaise réponse.
A vue de nez c’est une erreur grossière de programmation (du genre gros problème d’ego) mais qui casse tout le concept d’intelligence.
Juste des témoignages allant dans le sens de réponses ou failles d’IA qui un peu bizarrement ne savent pas gérer le « je ne sais pas » mais fournissent une réponse, juste mauvaise réponse.
A vue de nez c’est une erreur grossière de programmation (du genre gros problème d’ego) mais qui casse tout le concept d’intelligence.
il y a 2 jours
Par exemple j’entends bcp Luc ferry s’exprimer sur la question, j’aime pas du tout les terme mais pour le coup je dirais que c’est un énorme golem et boomer et n’importe quoi à arguer que l’ia va remplacer les chirurgiens parce qu’il participe à des discorde US de spécialistes qui confirment que l’IA retient mieux le botin qu’un être humain.
J’exagère mais c’est l’idée. Rien à foutre de la masse d’info qui nourrit le truc c’est l’idée et fonctionnement de base qui permet de parler d’intelligence qui m’intéresse.
J’exagère mais c’est l’idée. Rien à foutre de la masse d’info qui nourrit le truc c’est l’idée et fonctionnement de base qui permet de parler d’intelligence qui m’intéresse.
il y a 2 jours
Yoneda
2j
Si tu veux savoir en détails le fonctionnement des transformers je peux te conseiller le papier "attention is all you need"
En gros chaque token dans ta phrase est représenté par un vecteur (qu'on appelle embedding) dans un espace de grande dimension de sorte que la proximité sémantique entre chaque token est traduite par une similarité entre chaque vecteur associé.
Contrairement aux réseaux de neurone récurrents, les mots ne sont pas traités dans un ordre séquentiel (pas besoin de passer par des ResNet ou autres pour garder en mémoire les informations importantes).
On rajoute simplement un vecteur de position à chaque embedding pour que le modèle puisse distinguer "le chat mange la souris" et "la souris mange le chat".
L'idée principale ensuite est que chaque mot regarde tous les autres mots de la phrase pour déterminer quels sont les plus importants.
On utilise pour ça un mécanisme d’attention qui fonctionne un peu comme un dictionnaire dynamique.
Lorsqu'un llm génère du texte, il doit décider quel token vient ensuite.
Il regarde les tokens précédents et pondère grâce au mécanisme d'attention lesquels sont les plus pertinents.
Il construit une représentation contextuelle de ce qu'il a déjà écrit. Une fois que l'attention a produit un vecteur de contexte, le modèle passe ce vecteur dans une couche linéaire finale qui projette le tout vers l'espace du vocabulaire.
En gros chaque token dans ta phrase est représenté par un vecteur (qu'on appelle embedding) dans un espace de grande dimension de sorte que la proximité sémantique entre chaque token est traduite par une similarité entre chaque vecteur associé.
Contrairement aux réseaux de neurone récurrents, les mots ne sont pas traités dans un ordre séquentiel (pas besoin de passer par des ResNet ou autres pour garder en mémoire les informations importantes).
On rajoute simplement un vecteur de position à chaque embedding pour que le modèle puisse distinguer "le chat mange la souris" et "la souris mange le chat".
L'idée principale ensuite est que chaque mot regarde tous les autres mots de la phrase pour déterminer quels sont les plus importants.
On utilise pour ça un mécanisme d’attention qui fonctionne un peu comme un dictionnaire dynamique.
Lorsqu'un llm génère du texte, il doit décider quel token vient ensuite.
Il regarde les tokens précédents et pondère grâce au mécanisme d'attention lesquels sont les plus pertinents.
Il construit une représentation contextuelle de ce qu'il a déjà écrit. Une fois que l'attention a produit un vecteur de contexte, le modèle passe ce vecteur dans une couche linéaire finale qui projette le tout vers l'espace du vocabulaire.
Vite mon DOI
il y a 2 jours
C'est quoi ce topax super sérieux de ouf ?
J'ai appris plein de trucs du coup
il y a 2 jours
Ok merci. C’est disponible qu’en kindle apparemment.
Je me doute que l’IA ne se pose pas de question et suit ce pour quoi elle est programmée.
C’est le modèle à son niveau le plus rudimentaire qui m’interroge.
Je me doute que l’IA ne se pose pas de question et suit ce pour quoi elle est programmée.
C’est le modèle à son niveau le plus rudimentaire qui m’interroge.
Tu as un lien pour l’acheter en papier ? (J’abuse un peu mais même si je suis complètement équipé kindle et tout je préfère le papier).
il y a 2 jours
Vite mon DOI
C’est quoi encore ce truc « doi » ?
Ddb + non ddb tellement tu me fais chier mais je m’en fouts.
Ddb + non ddb tellement tu me fais chier mais je m’en fouts.
il y a 2 jours
C’est quoi encore ce truc « doi » ?
Ddb + non ddb tellement tu me fais chier mais je m’en fouts.
Ddb + non ddb tellement tu me fais chier mais je m’en fouts.
C'est l'identifiant d'un papier scientifique
Maintenant calme toi attardin.
Maintenant calme toi attardin.
il y a 2 jours
J'ai partagé un lien plus bas.
Et j’en te remercie encore un fois et vraiment.
Je le lis et si possible je reviens t’insulter si je trouve que c’est de la merde !
Je le lis et si possible je reviens t’insulter si je trouve que c’est de la merde !
il y a 2 jours
C'est l'identifiant d'un papier scientifique
Maintenant calme toi attardin.
Maintenant calme toi attardin.
Pourquoi tu commences à m’insulter ?
Tu es juif ?
Tu es juif ?
il y a 2 jours
Pourquoi tu commences à m’insulter ?
Tu es juif ?
Tu es juif ?
Pourquoi tu m'aggro d'un coup, calme toi kheyou
il y a 2 jours
Le point faible des IA LLM actuelle, c'est que leur "univers" n'est basiquement que des mots.
Elles n'ont aucune capacité hors des mots (pas de sens comme la vue, de réelle compréhension de la 3D réelle, exploration de la réalité, se déplacer et mémorisé). + La phase d'apprentissage du reseau de neurone est completement distincte de la phase d'utilisation.
Le jour où on aura une IA capable d'explorer le monde réel, de memoriser et de modifier seul son propre réseau ... On pourra potentiellement approcher la conscience humaine.
Ce qui est fort avec l'IA récente, c'est qu'on singe le fonctionnement du cerveau et que ça donne des résultat déjà incroyable, et que c'est probablement juste ça qui permettra de créer une vrai conscience. Sans "magie" ou "theorie de l'âme" ...
Elles n'ont aucune capacité hors des mots (pas de sens comme la vue, de réelle compréhension de la 3D réelle, exploration de la réalité, se déplacer et mémorisé). + La phase d'apprentissage du reseau de neurone est completement distincte de la phase d'utilisation.
Le jour où on aura une IA capable d'explorer le monde réel, de memoriser et de modifier seul son propre réseau ... On pourra potentiellement approcher la conscience humaine.
Ce qui est fort avec l'IA récente, c'est qu'on singe le fonctionnement du cerveau et que ça donne des résultat déjà incroyable, et que c'est probablement juste ça qui permettra de créer une vrai conscience. Sans "magie" ou "theorie de l'âme" ...
De toutes façons beaucoup d'humains fonctionnent comme des moteurs d'autocomplétion, déjà
Je suis Seugondaire.
il y a 2 jours
Pardon je m’égare à répondre mais je remercie sincèrement les réponses très constructives apportées.
Je vais explorer vos pistes.
Je vais explorer vos pistes.
il y a 2 jours
De toutes façons beaucoup d'humains fonctionnent comme des moteurs d'autocomplétion, déjà
Justement c’est la toute petite différence qui fait tout.
il y a 2 jours
Wokeman
2j
Pardon je m’égare à répondre mais je remercie sincèrement les réponses très constructives apportées.
Je vais explorer vos pistes.
Je vais explorer vos pistes.
Ça t'arrive souvent d'insulter des gens au pif comme ça ?
Vu la qualité du topic c'est incompréhensible
Vu la qualité du topic c'est incompréhensible
il y a 2 jours
Pourquoi tu m'aggro d'un coup, calme toi kheyou
Ouais bon mais à mon avis tu es juif un peu…
il y a 2 jours
Ouais bon mais à mon avis tu es juif un peu…
Je te renvoie au message du dessus
il y a 2 jours
Justement c’est la toute petite différence qui fait tout.
En fait un humain dépourvu de capacité créative et d'aptitude à la vérité est techniquement une IA type moteur d'autocomplétion, je pense
Un moteur d'autocomplétion branché sur une machine biologique qui impute des besoins, des pulsions etc
Un moteur d'autocomplétion branché sur une machine biologique qui impute des besoins, des pulsions etc
Je suis Seugondaire.
il y a 2 jours
Une chaine de vulga scientifique ( ScienceEtonnante) donne une bonne explication :
il y a 2 jours
Le point faible des IA LLM actuelle, c'est que leur "univers" n'est basiquement que des mots.
Elles n'ont aucune capacité hors des mots (pas de sens comme la vue, de réelle compréhension de la 3D réelle, exploration de la réalité, se déplacer et mémorisé). + La phase d'apprentissage du reseau de neurone est completement distincte de la phase d'utilisation.
Le jour où on aura une IA capable d'explorer le monde réel, de memoriser et de modifier seul son propre réseau ... On pourra potentiellement approcher la conscience humaine.
Ce qui est fort avec l'IA récente, c'est qu'on singe le fonctionnement du cerveau et que ça donne des résultat déjà incroyable, et que c'est probablement juste ça qui permettra de créer une vrai conscience. Sans "magie" ou "theorie de l'âme" ...
Elles n'ont aucune capacité hors des mots (pas de sens comme la vue, de réelle compréhension de la 3D réelle, exploration de la réalité, se déplacer et mémorisé). + La phase d'apprentissage du reseau de neurone est completement distincte de la phase d'utilisation.
Le jour où on aura une IA capable d'explorer le monde réel, de memoriser et de modifier seul son propre réseau ... On pourra potentiellement approcher la conscience humaine.
Ce qui est fort avec l'IA récente, c'est qu'on singe le fonctionnement du cerveau et que ça donne des résultat déjà incroyable, et que c'est probablement juste ça qui permettra de créer une vrai conscience. Sans "magie" ou "theorie de l'âme" ...
L'absence de modèle (géométrique, physique, anatomique) est encore plus flagrante en génération image.
Sur le "juste ça", j'ai renoncé. Plus on avance et plus on change la définition d'intelligence, puis celle de conscience. Le test de Turing ne suffit plus. Il est réussi, ou pas, selon les critères nouveaux qu'on lui ajoute.
Ce qui traduit le fait qu'on ne sait pas ce que c'est que l'intelligence ni la conscience. Ce qui ne nous empêche pas d'aligner des milliards de mots sur le sujet. Comme quoi, on noie nous aussi notre incompréhension sous du verbiage.
Sur le "juste ça", j'ai renoncé. Plus on avance et plus on change la définition d'intelligence, puis celle de conscience. Le test de Turing ne suffit plus. Il est réussi, ou pas, selon les critères nouveaux qu'on lui ajoute.
Ce qui traduit le fait qu'on ne sait pas ce que c'est que l'intelligence ni la conscience. Ce qui ne nous empêche pas d'aligner des milliards de mots sur le sujet. Comme quoi, on noie nous aussi notre incompréhension sous du verbiage.
Certifié tous gaz.
il y a 2 jours