[AI] LE TOPAX DES LLMS

Parce qu'on aimerait bien se passer de payer 22,99 tous les mois pour GPT

Parce qu'on ne veut pas d'une API connectee à un aspirateur de données

Il nous faut des LLMs maison mais qui soient aussi performants que GPT

Sinon, ça ne sert à rien

Donc il y a plusieurs LLMs locaux :

- Ollama propose un panel de plusieurs modèles interessants avec intégration (si vous faites du software, ça pèse quelques Go mais aucun n'arrive à la cheville de GPT)

- Open Chat (dans leurs bench ils explosent GPT)

- un nouveau que j'ai oublié (edit : il s'appelle JAN https://jan.ai/ )


Visualisation du bordel type GPT :
https://bbycroft.net/llm?utm_source=chatgpt.com

Et vous ? Vos LLMs locaux c'est quoi ?

Qu'est-ce que tu penses des TEE ?

Ça prend du temps à faire et c'est seulement si tu veux faire des carabistouilles, mais ça peut être pratique si tu veux t'amuser et que tu sais configurer des serveurs.

T'as AMD SEV SNP et Intel TDX qui peuvent te servir dans ce cas

Et ton avis sur les services en ligne qui proposent l'exécution en TEE ? C'est vraiment auditable en théorie ?

Ahi pour moi non, il faudrait que tu puisses mettre le nez dedans toi même et ils laisseront jamais faire parce que c'est le meilleur moyen pour chercher une faille.

Tout ce qu'ils peuvent te donner si tu demandes à auditer c'est du papier

Et moi qui pensais naïvement qu'un TEE créait un moyen de vérifier numériquement que les conditions d'exécution réelles sont celles déclarées

Tu pourras jamais tout vérifier surtout côté matériel et ils ont des surfaces non couvertes + canaux auxiliaires vulnérables parce que tu sais pas ce qu'ils font avec

Après si tu veux des architectures invulnérables il y en a en réseau local isolé

Nonobstant je pose ces questions parce que j'ai peu de moyens à mettre dans du matériel capable de faire tourner un LLM décent localement; pour l'instant je suis un cloudfag

C'est le futur pourtant

La flemme de payer un cloud qui modulera les prix en fonction de la bande passante utilisée

c'est gagnant en dessous d'un certain volume de requêtes, mais au delà d'un certain seuil l'achat est plus rentable.

Tu dirais qu'il faut quoi comme budget aujourd'hui pour exécuter un modèle 87b dans des conditions décentes ?

Go openrouter

Non mais le prix peut etre dementiel il faut masse de vram et acheter des grosses Teslas

Mais sinon t'as llama7B avec une carte de 16GoVRAM ça suffit

En ce moment je teste différents LLM en local, je ne suis pas déçu

Lequel marche le mieux ? C'est quoi le type de tache le plus courant que tu fais ? (Code? Meta prompting ?....)

Je lui donne en données mes notes et je lui demande parfois de chercher dedans
Là je galère encore dans la config

16Go

Genre t'as ça ?

Pour llama3 8b, 6Go de VRAM suffit

Bah oui j'ai 16Go de VRAM et t'en fais pas que je sollicite trop mes modèles ils me le font savoir

J'ai aussi accès à des TESLAS quand je veux faire des carabistouilles

Je sais que pour les modèles llama tu fais un peu ce que tu veux de toute façon j'ai juste testé avec ma carte quelques modèles classiques

Je vais peut etre m'acheter un laptop prochainement je prendrai un vieux truc type macbook air et je testerai des modeles dessus

Avec 16Go tu peux déjà te faire un petit deepseek-r1:14b

Je mange pas chinois malheureusement

bah t'es con