Ce sujet a été résolu
informatique ment c'est exactement comme ca que ca marche.
Globalement c'est juste un calcul de probabilité qu'elle va faire en analysant ta phrase (elle va regarder quels sont les mots les plus importants ou non) pour chercher dans sa base de donnée.
Globalement c'est juste un calcul de probabilité qu'elle va faire en analysant ta phrase (elle va regarder quels sont les mots les plus importants ou non) pour chercher dans sa base de donnée.
Ah non je t'assure que c'est pas comme ça que ça marche informatiquement
il y a 3 ans
Ah non je t'assure que c'est pas comme ça que ça marche informatiquement
demandons à ChatGPT Ahi :
- Lors de la phase de pré-entraînement, mon modèle apprend les relations entre les mots et les structures linguistiques à partir d'un vaste ensemble de données textuelles. Ce processus implique l'apprentissage des probabilités conditionnelles entre les mots et les séquences de mots.
- Lorsque vous posez une question ou écrivez une phrase, je tokenise et encode ces tokens en représentations vectorielles. Mon modèle utilise ensuite des couches d'attention pour analyser le contexte des tokens et comprendre les relations entre les différents mots et parties de la phrase.
- Lors de la génération d'une réponse, je sélectionne les tokens un par un en fonction de leur probabilité conditionnelle étant donné les tokens précédents et le contexte de la question. Mon modèle utilise un mécanisme d'attention pour pondérer les probabilités de différents mots et générer une réponse cohérente et pertinente.
Ce processus de génération de réponse est essentiellement basé sur des calculs de probabilités, car je choisis les mots les plus probables pour former une réponse en fonction de mon apprentissage préalable et du contexte de la question.
- Lors de la phase de pré-entraînement, mon modèle apprend les relations entre les mots et les structures linguistiques à partir d'un vaste ensemble de données textuelles. Ce processus implique l'apprentissage des probabilités conditionnelles entre les mots et les séquences de mots.
- Lorsque vous posez une question ou écrivez une phrase, je tokenise et encode ces tokens en représentations vectorielles. Mon modèle utilise ensuite des couches d'attention pour analyser le contexte des tokens et comprendre les relations entre les différents mots et parties de la phrase.
- Lors de la génération d'une réponse, je sélectionne les tokens un par un en fonction de leur probabilité conditionnelle étant donné les tokens précédents et le contexte de la question. Mon modèle utilise un mécanisme d'attention pour pondérer les probabilités de différents mots et générer une réponse cohérente et pertinente.
Ce processus de génération de réponse est essentiellement basé sur des calculs de probabilités, car je choisis les mots les plus probables pour former une réponse en fonction de mon apprentissage préalable et du contexte de la question.
il y a 3 ans
La chanson française la plus écoutée actuellement a l’international est Moulaga de de heuss l’enfoiré et jul
il y a 3 ans
J'ai une veste à 500 boule je la prend en photo tout de suite ou tu ftg tout de suite :rere:
il y a 3 ans
l'avantage du modele ChatGPT (ou d'autres modèle de langage comme LLaMA) c'est que ca simule vraiment bien une intelligence part les phrases que ca genere.
il y a 3 ans
Apex
3 ans
La chanson française la plus écoutée actuellement a l’international est Moulaga de de heuss l’enfoiré et jul
Hé la moulaga
il y a 3 ans
Un réseau de neurone est un ensemble de noeuds qui vont prendre un certains nombre de paramètres en entrée, faire quelque chose dessus et ressortir plusieurs valeurs en sorties, qui elles-mêmes peuvent être utilisées comme paramètres pour d'autres noeuds (d'où le nom de réseau, chaque noeud est interconnecté)
La force de cette structure, c'est que pour chacun des paramètres d'entrée, le noeud peut assigner un "poids" qui va représenter l'importance qu'aura ce paramètre dans la valeur de sortie du noeud. Avec ceci en tête, si par exemple on donne au réseau un ensemble de paramètres d'entrée et qu'on lui dit à quelle valeur de sortie ça correspond, il va petit à petit modifier ses poids pour se rapprocher de la valeur de sortie, et si on lui donne des millions de données du genre, ses poids seront assez bien optimisés pour prédire la sortie d'une entrée complètement nouvelle. Ca c'est l'apprentissage supervisé mais bien sûr il y a plein d'autres méthodes (notamment le NLP (natural langage processing) de chat-GPT qui est une sorte d'apprentissage non supervisé : on lui file plein de données sans aucune "réponse" et on le laisse se débrouiller tout seul), c'était bien sûr un exemple simple
Mais même comme ça, ça marche plutôt bien si tes données dépendent de 4 ou 5 paramètres, mais si, comme c'est le cas du langage humain, tes données dependent de plusieurs millions de paramètres, alors ton réseau de neurones va devoir se déplacer dans un espace à plusieurs millions de dimensions, et sachant que nous on arrive déjà à se pommer en se déplaçant en 2D je te laisse imaginer sa galère. On va alors utiliser des méthodes d'algèbre linéaire telle que la SVD (singular value decomposition) pour essayer d'en tirer les composantes principales, et donc ce que l'ensemble de tous tes paramètres veulent communiquer en priorité.
Et il se trouve qu'en analysant un peu le comportement de ces IA NLP on s'est rendu compte que les composantes principales de l'IA étaient des vecteurs qui se rapprochaient très fortement de ce qu'on pourrait décrire comme étant du "sens", par exemple si on effectuait l'addition vectorielle correspondant à "roi-homme+femme" on trouvait un vecteur très proche de "reine"
Voilà, tout ça pour dire que non, l'ia se contente pas de balancer au hasard une liste de mot comme une poésie de prévert, il a de vraies méthodes d'analyse et de compréhension qui sont pas si éloignées de la manière dont nous on réfléchit
La force de cette structure, c'est que pour chacun des paramètres d'entrée, le noeud peut assigner un "poids" qui va représenter l'importance qu'aura ce paramètre dans la valeur de sortie du noeud. Avec ceci en tête, si par exemple on donne au réseau un ensemble de paramètres d'entrée et qu'on lui dit à quelle valeur de sortie ça correspond, il va petit à petit modifier ses poids pour se rapprocher de la valeur de sortie, et si on lui donne des millions de données du genre, ses poids seront assez bien optimisés pour prédire la sortie d'une entrée complètement nouvelle. Ca c'est l'apprentissage supervisé mais bien sûr il y a plein d'autres méthodes (notamment le NLP (natural langage processing) de chat-GPT qui est une sorte d'apprentissage non supervisé : on lui file plein de données sans aucune "réponse" et on le laisse se débrouiller tout seul), c'était bien sûr un exemple simple
Mais même comme ça, ça marche plutôt bien si tes données dépendent de 4 ou 5 paramètres, mais si, comme c'est le cas du langage humain, tes données dependent de plusieurs millions de paramètres, alors ton réseau de neurones va devoir se déplacer dans un espace à plusieurs millions de dimensions, et sachant que nous on arrive déjà à se pommer en se déplaçant en 2D je te laisse imaginer sa galère. On va alors utiliser des méthodes d'algèbre linéaire telle que la SVD (singular value decomposition) pour essayer d'en tirer les composantes principales, et donc ce que l'ensemble de tous tes paramètres veulent communiquer en priorité.
Et il se trouve qu'en analysant un peu le comportement de ces IA NLP on s'est rendu compte que les composantes principales de l'IA étaient des vecteurs qui se rapprochaient très fortement de ce qu'on pourrait décrire comme étant du "sens", par exemple si on effectuait l'addition vectorielle correspondant à "roi-homme+femme" on trouvait un vecteur très proche de "reine"
Voilà, tout ça pour dire que non, l'ia se contente pas de balancer au hasard une liste de mot comme une poésie de prévert, il a de vraies méthodes d'analyse et de compréhension qui sont pas si éloignées de la manière dont nous on réfléchit
il y a 3 ans
Un réseau de neurone est un ensemble de noeuds qui vont prendre un certains nombre de paramètres en entrée, faire quelque chose dessus et ressortir plusieurs valeurs en sorties, qui elles-mêmes peuvent être utilisées comme paramètres pour d'autres noeuds (d'où le nom de réseau, chaque noeud est interconnecté)
La force de cette structure, c'est que pour chacun des paramètres d'entrée, le noeud peut assigner un "poids" qui va représenter l'importance qu'aura ce paramètre dans la valeur de sortie du noeud. Avec ceci en tête, si par exemple on donne au réseau un ensemble de paramètres d'entrée et qu'on lui dit à quelle valeur de sortie ça correspond, il va petit à petit modifier ses poids pour se rapprocher de la valeur de sortie, et si on lui donne des millions de données du genre, ses poids seront assez bien optimisés pour prédire la sortie d'une entrée complètement nouvelle. Ca c'est l'apprentissage supervisé mais bien sûr il y a plein d'autres méthodes (notamment le NLP (natural langage processing) de chat-GPT qui est une sorte d'apprentissage non supervisé : on lui file plein de données sans aucune "réponse" et on le laisse se débrouiller tout seul), c'était bien sûr un exemple simple
Mais même comme ça, ça marche plutôt bien si tes données dépendent de 4 ou 5 paramètres, mais si, comme c'est le cas du langage humain, tes données dependent de plusieurs millions de paramètres, alors ton réseau de neurones va devoir se déplacer dans un espace à plusieurs millions de dimensions, et sachant que nous on arrive déjà à se pommer en se déplaçant en 2D je te laisse imaginer sa galère. On va alors utiliser des méthodes d'algèbre linéaire telle que la SVD (singular value decomposition) pour essayer d'en tirer les composantes principales, et donc ce que l'ensemble de tous tes paramètres veulent communiquer en priorité.
Et il se trouve qu'en analysant un peu le comportement de ces IA NLP on s'est rendu compte que les composantes principales de l'IA étaient des vecteurs qui se rapprochaient très fortement de ce qu'on pourrait décrire comme étant du "sens", par exemple si on effectuait l'addition vectorielle correspondant à "roi-homme+femme" on trouvait un vecteur très proche de "reine"
Voilà, tout ça pour dire que non, l'ia se contente pas de balancer au hasard une liste de mot comme une poésie de prévert, il a de vraies méthodes d'analyse et de compréhension qui sont pas si éloignées de la manière dont nous on réfléchit
La force de cette structure, c'est que pour chacun des paramètres d'entrée, le noeud peut assigner un "poids" qui va représenter l'importance qu'aura ce paramètre dans la valeur de sortie du noeud. Avec ceci en tête, si par exemple on donne au réseau un ensemble de paramètres d'entrée et qu'on lui dit à quelle valeur de sortie ça correspond, il va petit à petit modifier ses poids pour se rapprocher de la valeur de sortie, et si on lui donne des millions de données du genre, ses poids seront assez bien optimisés pour prédire la sortie d'une entrée complètement nouvelle. Ca c'est l'apprentissage supervisé mais bien sûr il y a plein d'autres méthodes (notamment le NLP (natural langage processing) de chat-GPT qui est une sorte d'apprentissage non supervisé : on lui file plein de données sans aucune "réponse" et on le laisse se débrouiller tout seul), c'était bien sûr un exemple simple
Mais même comme ça, ça marche plutôt bien si tes données dépendent de 4 ou 5 paramètres, mais si, comme c'est le cas du langage humain, tes données dependent de plusieurs millions de paramètres, alors ton réseau de neurones va devoir se déplacer dans un espace à plusieurs millions de dimensions, et sachant que nous on arrive déjà à se pommer en se déplaçant en 2D je te laisse imaginer sa galère. On va alors utiliser des méthodes d'algèbre linéaire telle que la SVD (singular value decomposition) pour essayer d'en tirer les composantes principales, et donc ce que l'ensemble de tous tes paramètres veulent communiquer en priorité.
Et il se trouve qu'en analysant un peu le comportement de ces IA NLP on s'est rendu compte que les composantes principales de l'IA étaient des vecteurs qui se rapprochaient très fortement de ce qu'on pourrait décrire comme étant du "sens", par exemple si on effectuait l'addition vectorielle correspondant à "roi-homme+femme" on trouvait un vecteur très proche de "reine"
Voilà, tout ça pour dire que non, l'ia se contente pas de balancer au hasard une liste de mot comme une poésie de prévert, il a de vraies méthodes d'analyse et de compréhension qui sont pas si éloignées de la manière dont nous on réfléchit
Frère personne va lire ça
il y a 3 ans
demandons à ChatGPT Ahi :
- Lors de la phase de pré-entraînement, mon modèle apprend les relations entre les mots et les structures linguistiques à partir d'un vaste ensemble de données textuelles. Ce processus implique l'apprentissage des probabilités conditionnelles entre les mots et les séquences de mots.
- Lorsque vous posez une question ou écrivez une phrase, je tokenise et encode ces tokens en représentations vectorielles. Mon modèle utilise ensuite des couches d'attention pour analyser le contexte des tokens et comprendre les relations entre les différents mots et parties de la phrase.
- Lors de la génération d'une réponse, je sélectionne les tokens un par un en fonction de leur probabilité conditionnelle étant donné les tokens précédents et le contexte de la question. Mon modèle utilise un mécanisme d'attention pour pondérer les probabilités de différents mots et générer une réponse cohérente et pertinente.
Ce processus de génération de réponse est essentiellement basé sur des calculs de probabilités, car je choisis les mots les plus probables pour former une réponse en fonction de mon apprentissage préalable et du contexte de la question.
- Lors de la phase de pré-entraînement, mon modèle apprend les relations entre les mots et les structures linguistiques à partir d'un vaste ensemble de données textuelles. Ce processus implique l'apprentissage des probabilités conditionnelles entre les mots et les séquences de mots.
- Lorsque vous posez une question ou écrivez une phrase, je tokenise et encode ces tokens en représentations vectorielles. Mon modèle utilise ensuite des couches d'attention pour analyser le contexte des tokens et comprendre les relations entre les différents mots et parties de la phrase.
- Lors de la génération d'une réponse, je sélectionne les tokens un par un en fonction de leur probabilité conditionnelle étant donné les tokens précédents et le contexte de la question. Mon modèle utilise un mécanisme d'attention pour pondérer les probabilités de différents mots et générer une réponse cohérente et pertinente.
Ce processus de génération de réponse est essentiellement basé sur des calculs de probabilités, car je choisis les mots les plus probables pour former une réponse en fonction de mon apprentissage préalable et du contexte de la question.
C'est pas parce qu'il parle de probabilités que ça veut dire qu'il fait que piocher au hasard une phrase dans ses données
il y a 3 ans













