Le gouvernement sort un classement des IAs à hebergé

Il y a même la possibilité de trier par consommation d'énergie et le nouveau GPT-OSS a l'air peu énergivore

 https://comparia.beta.gouv.fr/ranking

@Yoneda

Aux dernières nouvelles, ce sont les modèles mistral qui ont le meilleur rapport performance et coût d'inférence.

Possible mais met en focus energy et regarde le score de Gpt-oss

Sinon tu t'y connais en LLM local ? J'ai un PC mais je sais pas quel modèle je peux heberger

J'essaie de rester à jour mais je n'ai pas les ressources pour pouvoir m'y plonger pleinement.
J'ai seulement une carte AMD que j'utilise avec le back-end vulkan de llama.cpp

On en attend pas moins vu le lien et le titre aguicheur

Perso j'aimerais bien utiliser LM Studio avec un modèle peu intelligent genre Gemma 3n 2B et y ajouter le websearch de Brave.

Et un plus intelligent pour la mise en page de texte, etc.

Llana.cpp a récemment sorti une refonte de sa webui
 https://github.com/ggml-org/llama.cpp/discussions/16938

Je veux pas de webui.

J'en vois pas l'intérêt

L'intérêt c'est que tu peux faire une redirection de port par ssh et accéder à ton llm depuis n'importe quel autre appareil

Oui donc je m'en fiche

llama.cpp a aussi le mérite d'être opensource

J'ai pas de problème mais j'ai eu le même problème avec un autre site du gouvernement. C'est assez fréquent.

L'Etat français a une cybersécurité inexistante et finit souvent en spam / malware dans les logiciels de mail / antivirus.

Mullvad ? c'est quoi ce truc ?

tu as déjà essayé nym ? je crains que le client soit moins sécurisé sur android

Mais je n'utilisais pas de VPN

Ce sont les antivirus qui détectent un problème

L'implémentation est toujours expérimentale mais ils sont sur le bon chemins avec le système d'authentification avec preuves zk pour accéder au mixnet.

Non j'utilise encore mullvad avec daita.

Ton plus gros facteur de décision ça va être ta puissance de calcul. Si t'as 12G de VRAM ou 36 c'est pas la même réponse. . Pewdiepie a fait une vidéo où il héberge des models locaux, et en fait du moment que tu autorises la recherches sur internet mais les petits models sont performants.

Oui ça c'est top mais la web ui je m'en branle parce que ça veut dire que ça transforme ta machine en serveur et donc c'est un tas d'autres soucis de sécurité à prendre en compte

Oui je l'ai vu.

J'ai 5GB de VRAM mais 32 de RAM