- Lors de la phase de pré-entraînement, mon modèle apprend les relations entre les mots et les structures linguistiques à partir d'un vaste ensemble de données textuelles. Ce processus implique l'apprentissage des probabilités conditionnelles entre les mots et les séquences de mots.
- Lorsque vous posez une question ou écrivez une phrase, je tokenise et encode ces tokens en représentations vectorielles. Mon modèle utilise ensuite des couches d'attention pour analyser le contexte des tokens et comprendre les relations entre les différents mots et parties de la phrase.
- Lors de la génération d'une réponse, je sélectionne les tokens un par un en fonction de leur probabilité conditionnelle étant donné les tokens précédents et le contexte de la question. Mon modèle utilise un mécanisme d'attention pour pondérer les probabilités de différents mots et générer une réponse cohérente et pertinente.
Ce processus de génération de réponse est essentiellement basé sur des calculs de probabilités, car je choisis les mots les plus probables pour former une réponse en fonction de mon apprentissage préalable et du contexte de la question.
l'avantage du modele ChatGPT (ou d'autres modèle de langage comme LLaMA) c'est que ca simule vraiment bien une intelligence part les phrases que ca genere.
CHATGPT utilise des calculs de probabilités et des mécanismes d'attention pour analyser les phrases et générer des réponses. La ou j'ai fait un raccourcie direct, c'est en disant qu'elle va chercher dans une base de donnée (ce qui est partiellement faux). Il s'appuie plutôt sur les connaissances acquises lors de la phase de pré-entraînement (qui elles mêmes sont générés par des datas) et le contexte des questions posées pour créer des réponses pertinentes et cohérentes.