[IA] Une alternative GRATUITE, OPEN SOURCE et FRANCAISE à ChatGPT / Bard / Copilot

Pour ceux qui s'y connaissent en IA, vous avez des LLM --> donc des IA qui génèrent du texte
Il y'a parmi les plus connus : ChatGPT 3.5, ChatGPT 4 (payant), Copilot (Microsoft), Bard, Gemini Pro...

Mais connaissez-vous Mistral 8x7b ? Il s'agit d'une IA totalement gratuite et open-source créée par 3 français qui surpasse ChatGPT 3.5 dans la quasi totalité des tests

Pour lister quelques avantages:
- Gratuit
- Open source
- Modèle très léger et compact
- Possibilité de l'installer en local sur votre PC (donc pas besoin d'internet ni rien)


Bon, je vais partir du principe qu'ici personne n'a la config nécessaire pour l'installer en local et donc vais vous donner la marche à suivre pour l'avoir en ligne

1 - Créez un compte sur HuggingFace : https://huggingface.co/

2 - Rendez-vous ici : https://huggingface.co/chat

3 - Allez dans Settings et vérifiez que c'est paramétré de la sorte :
(mistralai/Mixtral-8x7B-Instruct-v0.1 doit être sur "ACTIVE")

Et voilà, vous avez un modèle 100% gratuit et open source bien supérieur à ChatGPT 3.5

PS : https://huggingface.co/sp[...]toforu/mixtral-46.7b-chat
Voici une version améliorée, cependant l'interface est peu conviviale et le nombre de mots par réponse est limité, il faudra à chaque fois lui dire "continue"

PS2 : Si vous souhaitez l'installer en local : https://onche.org/topic/4[...]copilot/1#message_8048563

Oui, fin combien de Go de ram pour faire tourner ça ça locale ?
L'avantage de chatGPT ou autres, c'est le server qui fait le taff à la place du client.

Le tuto en question se passe sur un serveur à distance

Sinon pour la config ça doit être mini 64 GO de RAM + i9 + CG ultra puissante

AYA. 64 Go

Sinon le côté server c'est cool

Oui, merci HuggingFace 🇫🇷

Ça supportera la demande à ton avis ?

@RealCalliopa :

Après il y a les versions "optimisés" de TheBlocke en format GGUF, pouvant tournée avec moins de puissance (notamment sur text-generation-ui ) :

L'ancienne version (tourne sur mon i7, 32Go de RAM, RTX 2080) : https://huggingface.co/Th[...]ral-7B-Instruct-v0.2-GGUF

Et pour la version dont parle l'auteur :
https://huggingface.co/Th[...]ke/Mixtral-8x7B-v0.1-GGUF
https://huggingface.co/Th[...]l-8x7B-Instruct-v0.1-GGUF

Pour le moment ouais ça va

Je te remercie beaucoup, par contre là c'est la 7B, pas la 8x7B (qui tourne avec 8 cerveaux)
La smallest pompe combien de RAM chez toi?

Le smallest tourne très bien, les version Q_4_K_M tourne même bien, l'avantage en plus des versions de TheBlock ce que ça tourne même avec moins de RAM, mais plus lentement.
Les versions Q_2, Q_3 ect permettent de faire tourner les modèles, avec une baisse de qualité, sur des toutes petites machines.

D'ailleurs, l'astuce, si tu veux que ça marche à cout sur, tu augmente le SWAP (la taille du fichier d'échange sur Windows) en donnant virtuellement 32Go de mémoire en plus. Bon ça ralenti les modèles, mais ça permet de faire tout tourné quasiment.

Et en otpimisant text-generation-webui, je peux faire tourne de très gros modèles (lentement) mais avec un résultat et sans crash.

PS : J'ai Mixtral-8x7B dans mes derniers liens

ça vaut quoi comparé à chatgpt 4.0 ?
C'est bien pour coder ?

Exact
Du coup c'est quoi le modèle le plus léger qu'il soit? J'ai une config éco+ moi

Mistral est un modèle de 7 millions de paramètres, là où ChatGPT a 1700 millions de paramètres
GPT 4 reste supérieur quand même

Mistral est quelque part entre ChatGPT 3.5 et ChatGPT 4
Une sorte de ChatGPT 3.75 pour imager le tout

Voici un comparatif (regardez juste la colonne Arena Elo) :

Les modèles de TheBloke de type Q3_K_M pour Mistral-7B devrait tourner sur la plupart des PC sans trop perdre en qualité.
Sur le mien, je fais tourné du Q4_K_M assez vite (i7 , RTX 2080, 32Go de RAM + 16Go de SWAP).

Je fais aussi tourné le modèle Wizard-Vicuna-30B-Uncensored-GGUF-Q4_K_M

Quand tu le lances il bouffe combien de RAM?

Il prend toute ma RAM (je parle pour wizard-vicuna-30b-gguf-Q4-K-M), je peux pas lancer plus d'une fenetre de navigateur après, mais ça tourne !

Mais il y a moyen d'optimiser (je sais pas si c'est le format GGUF ou la quantization qui permet ça) mais en gros, tu peux customiser dans text-generation-webui la consommation et le fonctionnement de l'IA pour que ça soit plus lent, mais que ça fasse tourné de meilleures modèles.

J'ai foutu mistral-7b-instruct-v0.2_Q2_K.gguf et ça a l'air de marcher, même si ça bouffe 100% de mon CPU et qu'il met une plombe pour écrire un mot

Je fav et plussoie

Mistral est dans le très haut de gamme avec une tech de foufurieux

Non chef tu te trompes

Mistral IA c'est 7 Milliards
ChatGPT3, c'est 175 milliards