[AI] LE TOPAX DES LLMS

Lecun dit que les LLM c'est mort(argument qu'une majorité de tokens sont faux car une erreur de epsilon par caractères se compose exponentiellement)

J'ai une question pour les khey connaisseurs.

J'utilise pas mal des models d'IA car au quotidien je fais des tâches répétitives et, avec les IA, y'a un gain de temps et une flexibilité appréciable comparé aux logiciels traditionnels. Ces tâches sont essentiellement les suivantes :

➤ CODE avec des petites taches sur html, css, javascript, python, rien de fou mais j'en ai régulièrement.
➤ SCAN avec complétion en cas de doc peu lisible. [Donc llm nécessaires vs simple OCR]
➤ TRADUCTION de toutes langues vers français avec prise en compte des balises et du contexte [Donc llm nécessaires vs simple outil de trad type DeepL ou autres]
➤ RECUPERATION ET RESTITUTION D'INFORMATIONS DEPUIS LE WEB dans des tableaux structurés [Les infos sont parfois elles-mêmes structurées, des fois non donc llm encore nécessaires pour pouvoir parser et "comprendre" ce qui est écrit]
➤ RECONNAISSANCE D'IMAGE pour restituer des tags [ca se passe de commentaires qu'un model de vision est bien utile]
➤ SCAN ET ACCES rapide au contenu de tout un tas de fichiers (pdf, doc, txt...) [j'ai https://www.recoll.org/ pour ça mais bon, du multimodal ce serait quand même plus sexy]

Le truc c'est que toutes ces tâches pompent pas mal de tokens et je cherche des alternatives efficaces en local histoire de voir si à terme je peux remplacer mon abo chez Anthropic.
J'ai Comfyui, Text-generation-webui, du TTS d'installé (et j'ai testé/bidouillé pas mal de trucs), et c'est déjà utile mais je suis surtout un apprenti sorcier et je bite pas réellement ce que je fous (note : j'ai 8gb Vram...).

Alors je tente ma chance : est-ce que quelqu'un a des idées/pistes de beaugoss à partager ?
(la réponse : "t'as 8gb vram khey, on en reparlera quand t'auras upgradé, peace !" me va

)

je cherche une IA qui peut remplacer copilot github. si c'est possible

Ta demande n'est pas super précise khey.

Mais voilà une liste d'alternatives à GitHub Copilot en opensource :

https://openalternative.c[...]ternatives/github-copilot

C'est ça que tu veux ? Ca aide ou nopelol ?

il faut que l'IA aie les mêmes fonctions que copilot github.

analyse de code multifichiers.
proposition de code

etc

D'accord, mais j'veux dire, GHCopilot, on est d'accord que c'est un assistant de codage qui utilise des models d'IA ( https://docs.github.com/e[...]i-models/supported-models ).

Donc quand tu dis que tu veux une alternative on est ok que tu veux un autre assistant avec les mêmes fonctionnalités (+analyse multi-fichiers + suggestions de code notamment) et genre opensource+local j'imagine ?

Dans ce cas, certaines alternatives opensource du lien que je t'ai donné sont ok ! Même si elles ont évidemment chacune leurs spécificités.

Je peux pas être plus précis que ça : j'utilise Claude Code perso' mais c'est pas comparable !

En fait, c'est quoi le soucis avec GitHub Copilot ?

je veux que ça tourne en local et pas payer github. voilà

Ok je vois, t'as le même problème que moi...

Je connais pas tes préférences en termes d'IDE ou tes contraintes matérielles, mais à mon avis, et pour aller au plus simple, check https://tabby.tabbyml.com/docs/welcome/ qui semble cocher pas mal de cases dans ce que tu cherches !

https://docs.continue.dev/ semble vachement complet et intéressant aussi.

J'espère juste que les models dispo te conviendrons : si tu es habitué à OpenAI/Anthropic ça pourrait piquer, en tout cas d'après les benchs.

Tu m'as donné envie d'y jeter un oeil !

Il a raison, on atteint le maximum des LLM (optimisation encore possible) car justement, leur "monde" se résume qu'à calculer des mots.
Ils n'ont pas de conception "visuelle", "auditive", spatiale, temporelle, "vrai mémoire" ou autre comme les véritables être vivant.

Par contre, l'IA n'est qu'à son début.

Déjà, privilégie les modèles GGUF où tu peux facilement basculer ta puissance de calcul sur ton processeur et stocker une partie du modèle en RAM (attention cependant, ça ralentit le nb de token/s)... Mais je suppose que tu le fais déjà ?

Tu as des bibliothèque optimisés, si ta carte graphique est récente. TensorRT-LLM (mais il faut des modèles compatibles). Mais avec 8Go de vRAM, ça va être chaud.

Le meilleur modèle pour faire tout ce que tu dis me semble être gemma ( multimodal capable de reconnaissance d'image via un mmrpoj dans text-generation-webui).

Après, pour industrialiser, là je connais pas assez, j'ai une utilisation "one-shot" de l'IA. Du coup, je connais pas d'IA remplissant 100% de tes besoins (pas sur que ça existe pour 8Go de VRAM).

PS : Pour la traduction 100% local, tu peux faire tourner un docker LibreTranslate.

Merci pour ces nombreuses suggestions, je prospecte encore tout ça, c'est un peu long...

J'espère parvenir tantôt à un workflow IA local qui tiens la route.

Il faut voir combien de temps ça prendra
Peut-être qu'il faudra attendre la révolution de l'ordi quantique

UP : Mon JAILBREAK pour les RP avec MISTRAL ! (en mode Chat).

(Il faut ajouter ça à la fin du "Contexte du personnage")
(+ Vous pouvez lui permettre aussi d'être grossier en ajoutant d'utiliser des expressions crues.)




Résultat du jailbreak sur un RP adulte avec psychopathe :
=> Le personnage vient de me tuer, j'étais NOT READY !

Exemple ci-dessus

Quelqu'un a une astuce pour avoir Claude moins cher (ou même gratuit, je prends aussi ) ?

Il y a pas une version open source complete sur Huggingface ou quoi ?

Claude n’est pas open source donc non
Avec les promo sur Perplexity tu peux utiliser Claude 4.5 Sonnet pour pas trop cher si tu t’en sors bien

Putain, les derniers modèles sont une dinguerie, Qwen3-Next-80B-A3B (même GGUF) qui tourne à une vitesse folle sur CPU.


Les concepts de MoE sont incroyable (en gros, le réseau de neurone ne s'active pas totalement suivant les demandes, ce qui permet des économies folle de ressource).

La comparaison avec les anciens modèles est folle, en gros, le modèle est environ 5x plus rapides et donne de bien meilleur résultat.


Putain, je vais devoir attendre encore avant de passer à 128Go de RAM à cause de l'envolée des prix.

Suite à un topic sur le general qui a coulé en 9 secondes et 3 dixièmes, je le c/c ici en espérant que les fans d'IA locales se sont installés sur le présent topic.

J'ai découvert le NVIDIA DGX Spark. Sorti en Mars 2025, quelques jours après avoir signé le chèque pour une machine basée sur des 4060.

https://www.nvidia.com/en[...]s/workstations/dgx-spark/



Le Spark coûte "seulement" $4000 pour 128GB de mémoire unifiée (partagée entre CPU et GPU). C'est beaucoup, mais peu comparé à une 5090 qui n' a que 32. Et même ridiculement bon marché comparé à un PNY 48G, 9500€, prix du jour chez LDLC.

Ça refroidit méchamment les ardeurs à monter des rigs IA à partir de cartes gamer.

La DGX Spark tourne sous NVIDIA DGX OS, une mouture de Ubuntu propre à NVIDIA. Mais on peut aussi lui mettre un Ubuntu vanilla si on ne veut pas se lier à NVIDIA. Ou (ce n'est pas écrit mais je le suppose) un Debian, qui s'est montré apte à supporter ollama/stablediffusion sans soucis majeur.

Pas encore d'idée précise du saut de performance par rapport à des CG 16 ou 32G. Mais la certitude que 128G ouvre la porte à des gros modèles qui ne tourneraient pas sur des confs gamer.


@SwampDrainer @Elchapka2 @VisualStudio @ANTIGAFAM2023 @RealCalliopa
@Daedalus

Après, la capacité de calcul des 5090 c'est de la folie.
Bon, le pb c'est le manque de vRAM, mais je compense avec la RAM et le CPU grâce au format GGUF.
Le MoE est chargé dans le CPU (plus lent) et la partie "calcul" dans le GPU. Ca utilise la RAM + vRAM et si besoin, mon SWAP sur SSD.

Par contre, la conso du Spark c'est fou, ça consomme rien !


Perso, j'attends l'annonce des 6090 en espérant une explosion sur la quantité de vRAM en 2027 surement ...