[AI] LE TOPAX DES LLMS

Parce qu'on aimerait bien se passer de payer 22,99 tous les mois pour GPT

Parce qu'on ne veut pas d'une API connectee à un aspirateur de données

Il nous faut des LLMs maison mais qui soient aussi performants que GPT

Sinon, ça ne sert à rien

Donc il y a plusieurs LLMs locaux :

- Ollama propose un panel de plusieurs modèles interessants avec intégration (si vous faites du software, ça pèse quelques Go mais aucun n'arrive à la cheville de GPT)

- Open Chat (dans leurs bench ils explosent GPT)

- un nouveau que j'ai oublié (edit : il s'appelle JAN https://jan.ai/ )

- edit : merci elchapka pour la reco de lmstudio https://lmstudio.ai/

- edit: ajout de la toolbox LLM bugguée de PewdiePie https://github.com/pewdiepie-archdaemon/odysseus


Visualisation du bordel type GPT :
https://bbycroft.net/llm?utm_source=chatgpt.com

Et vous ? Vos LLMs locaux c'est quoi ?

Ça prend du temps à faire et c'est seulement si tu veux faire des carabistouilles, mais ça peut être pratique si tu veux t'amuser et que tu sais configurer des serveurs.

T'as AMD SEV SNP et Intel TDX qui peuvent te servir dans ce cas

Ahi pour moi non, il faudrait que tu puisses mettre le nez dedans toi même et ils laisseront jamais faire parce que c'est le meilleur moyen pour chercher une faille.

Tout ce qu'ils peuvent te donner si tu demandes à auditer c'est du papier

Tu pourras jamais tout vérifier surtout côté matériel et ils ont des surfaces non couvertes + canaux auxiliaires vulnérables parce que tu sais pas ce qu'ils font avec

Après si tu veux des architectures invulnérables il y en a en réseau local isolé

C'est le futur pourtant

La flemme de payer un cloud qui modulera les prix en fonction de la bande passante utilisée

Go openrouter

Non mais le prix peut etre dementiel il faut masse de vram et acheter des grosses Teslas

Mais sinon t'as llama7B avec une carte de 16GoVRAM ça suffit

En ce moment je teste différents LLM en local, je ne suis pas déçu

Lequel marche le mieux ? C'est quoi le type de tache le plus courant que tu fais ? (Code? Meta prompting ?....)

Je lui donne en données mes notes et je lui demande parfois de chercher dedans
Là je galère encore dans la config

16Go

Genre t'as ça ?

Pour llama3 8b, 6Go de VRAM suffit

Bah oui j'ai 16Go de VRAM et t'en fais pas que je sollicite trop mes modèles ils me le font savoir

J'ai aussi accès à des TESLAS quand je veux faire des carabistouilles

Je sais que pour les modèles llama tu fais un peu ce que tu veux de toute façon j'ai juste testé avec ma carte quelques modèles classiques

Je vais peut etre m'acheter un laptop prochainement je prendrai un vieux truc type macbook air et je testerai des modeles dessus

Avec 16Go tu peux déjà te faire un petit deepseek-r1:14b

Je mange pas chinois malheureusement

bah t'es con

J'ai jamais dit le contraire

Qu'est-ce que t'en as à faire que c'est chinois si c'est bien ?

Calme tes seins

C'était une boutade

Mais les Chinois tu sais jamais ce qu'ils mettent dans leurs fichiers

T'es déjà allé en Chine ? j'en reviens là c'est flicage permanent chez eux

Un LLM c'est rien que des paramètres

Nn t'as des fichiers de config avec

Plus le modèle lui-même peut être infecté
https://arxiv.org/pdf/2308.14367