J'abandonne le system de chat, je vais essayer de mettre en forme ce format :
Le systeme de "chat" a besoin d'avoir un system d'instruction bien encré dans le modèle et c'est pas possible là, donc je vais train sur la base avec un format complètement différent.
Pour ceux qui savent ce servir d'un LLM sans "chat", vous pouvez générer des topics comme ça :
https://image.noelshack.com[...]03/2/1736875133-image.pngMais y a des "user" et "assistant" qui parasite la conversation (instruct de Llama 3), donc ca fait chier aya.
Ce sera un peu plus comme 4chanGPT ou vous lui donner un thread et il vous le generer, et vous pouvez le modif etc....
Voilou. Et l'epoch 0.4 arrive
Mais ce sera le dernier pour ce train, faut qu'on relance un correct.