Des gens qui font tourner des llms en local ?

Je peux faire tourner quoi avec un GPU à 5GB de vRAM et 32GB de RAM DDR4 ?

oui avec lm studio mais j'ai pas un grand setup pour générer des trucs intelligents

5gb de vram

J'en faisais tourner sur linux en utilisant que le CPU et c'était pas mal, tu me rappelle qu'il faut que je retente en utilisant llama.cpp + openwebui
Tu utilise quoi de ton côté ?

Lmstudio

Pc de 2018

Mon pc de 2016 a 6gb

Tu as une 1050 ?

Mais c'est quoi les specs et tu tournes quoi ?

Le mien est un portable

Ta vu cette vidéo ?

Connais pas LM Studio ? C'est bien ? J'utilisais Ollama avant mais ça ralenti trop les performances

rtx 3060 Dolphin 2.9.3 Mistral Nemo 12B , Dolphin3.0 Llama3.1 8B

Nope mais avec mon PC c'est un miracle si quoique ce soit tourne

Un peu tout. Ollama, gemini, gpt, mistral..

Après si ton cpu est pas ouf l'ia sera lente. Mais normalement ça coopère avec ton gpu s'il est pas mauvais

Commander Keen....

Quels types de modeles ? Les 7B je paries ?

C'est un intel Intel Core i7-8850H

J'arrive à faire tourner jusqu'à 12B. Pas assez de ram pour plus, mais toi si