Des clés ici font tourner des LLM en local ?

Mac a une puce spéciale qui fait à la fois CPU et GPU

Sur de l'IA quasiement tout se joue sur la VRAM et le GPU.
Une simple carte grphique nvidia suffit généralement.

Perso dans ma boite, on a pris des vieux GPU pour faire tourner.
Le CPU c'est merdique, lent, et pas assez de cache pour l'IA.

Combien de vram sur les gpu vous avez ?

Tiens regarde ça  https://github.com/bentom[...]-ov-file#supported-models

Ils disent qu'avec 12G de RAM tu peux faire tourner gemma (quoi que ça puisse être)

J'ai fais des tests sur des vieille RTX 2080, fonctionne niquel avec un bon taf d'opti.
Sinon les gamme 3080 et aprés (4000) suffisent.
Les 5000 sont bien pour l'economie d'energie et opti logiciel, mais en terme de perf, c'est merdique, autant allé sur des puces pro IA.

Bordel, on avait une Nvidia A2 qui trainait dans les placards.

Ça devrait être mieux