[AI] LE TOPAX DES LLMS

Quelqu'un a une astuce pour avoir Claude moins cher (ou même gratuit, je prends aussi ) ?

Il y a pas une version open source complete sur Huggingface ou quoi ?

Claude n’est pas open source donc non
Avec les promo sur Perplexity tu peux utiliser Claude 4.5 Sonnet pour pas trop cher si tu t’en sors bien

Putain, les derniers modèles sont une dinguerie, Qwen3-Next-80B-A3B (même GGUF) qui tourne à une vitesse folle sur CPU.


Les concepts de MoE sont incroyable (en gros, le réseau de neurone ne s'active pas totalement suivant les demandes, ce qui permet des économies folle de ressource).

La comparaison avec les anciens modèles est folle, en gros, le modèle est environ 5x plus rapides et donne de bien meilleur résultat.


Putain, je vais devoir attendre encore avant de passer à 128Go de RAM à cause de l'envolée des prix.

Suite à un topic sur le general qui a coulé en 9 secondes et 3 dixièmes, je le c/c ici en espérant que les fans d'IA locales se sont installés sur le présent topic.

J'ai découvert le NVIDIA DGX Spark. Sorti en Mars 2025, quelques jours après avoir signé le chèque pour une machine basée sur des 4060.

https://www.nvidia.com/en[...]s/workstations/dgx-spark/



Le Spark coûte "seulement" $4000 pour 128GB de mémoire unifiée (partagée entre CPU et GPU). C'est beaucoup, mais peu comparé à une 5090 qui n' a que 32. Et même ridiculement bon marché comparé à un PNY 48G, 9500€, prix du jour chez LDLC.

Ça refroidit méchamment les ardeurs à monter des rigs IA à partir de cartes gamer.

La DGX Spark tourne sous NVIDIA DGX OS, une mouture de Ubuntu propre à NVIDIA. Mais on peut aussi lui mettre un Ubuntu vanilla si on ne veut pas se lier à NVIDIA. Ou (ce n'est pas écrit mais je le suppose) un Debian, qui s'est montré apte à supporter ollama/stablediffusion sans soucis majeur.

Pas encore d'idée précise du saut de performance par rapport à des CG 16 ou 32G. Mais la certitude que 128G ouvre la porte à des gros modèles qui ne tourneraient pas sur des confs gamer.


@SwampDrainer @Elchapka2 @VisualStudio @ANTIGAFAM2023 @RealCalliopa
@Daedalus

Après, la capacité de calcul des 5090 c'est de la folie.
Bon, le pb c'est le manque de vRAM, mais je compense avec la RAM et le CPU grâce au format GGUF.
Le MoE est chargé dans le CPU (plus lent) et la partie "calcul" dans le GPU. Ca utilise la RAM + vRAM et si besoin, mon SWAP sur SSD.

Par contre, la conso du Spark c'est fou, ça consomme rien !


Perso, j'attends l'annonce des 6090 en espérant une explosion sur la quantité de vRAM en 2027 surement ...

je préfère des IA qui seraient très lente et capable de tourner sur des pc simples que de devoir sortir de tels chéquiers.

en général, on peut s'appuyer sur son savoir et des recherches google.

ce n'est que dans des circonstances précises qu'on est bloqué.

j'ai remarqué que je suis plus efficace si je code moi même et que je demande peu à l'IA (un peu comme dans le temps on faisait sur stackoverflow).

donc il vaut mieux une IA très lente, mais super efficace, qu'une bouillabaise

Jamais j'irai sur de la 5090. Trop cher, trop épais (il faut du watercooling pour les stacker si tu veux dépasser les 32G).

La mémoire unifiée est préférable. Le Mac Studio est cité partout comme une machine IA capable. NVIDIA le fait, et la plate-forme PC finira par s'y mettre. Il est urgent d'attendre : ) La distinction RAM/VRAM sera une chose du passé.

Tous les modèles que j'ai chargés sous ollama sont GGUF.



Quand tu parles de Qwen3-Next-80B-A3B, c'est bien celui-ci ?
https://ollama.com/library/qwen3-next:80b

Sur ma machine, j'ai une 5090 à 32 go vRam + 64 Go de Ram + 64 Go de Pagefile (=swap) sur le SSD + Core i9 ultra.
Donc au total, ça me fait 160Go de memoire.

Sachant que le GGUF utilise GPU + CPU et également toute mes mémoire c'est pas si mal.
J'ajoute qu'en plus, je prend que des architecture MoE de type A3B, ce qui accèlere énormement la generation (meme sur du swap) car ce n'est pas la totalité du réseau de neurone qui est actif, mais seulement les parties spécialisées.


Pour Qwen je parle de celui-ci :
https://huggingface.co/un[...]ext-80B-A3B-Instruct-GGUF

Pas compatible avec ollama.

$ ollama run huggingface.co/unsloth/Qw[...]-A3B-Instruct-GGUF:latest
Error: 500 Internal Server Error: llama runner process has terminated: error loading model: missing tensor 'blk.0.ssm_in.weight'
llama_model_load_from_file_impl: failed to load model


Je pense que celui-ci est très proche.
Il tourne chez moi à 17 tokens/seconde.
Les CG sont remplis à 14 et 13G.
Le process CPU occupe 150G VIRT/48G RES.


$ ollama run qwen3-next:80b --verbose "Why the sky is blue?"
total duration: 2m4.602189357s
load duration: 72.726616ms
prompt eval count: 16 token(s)
prompt eval duration: 1.337553381s
prompt eval rate: 11.96 tokens/s
eval count: 2145 token(s)
eval duration: 2m2.761589353s
eval rate: 17.47 tokens/s


$ ollama run deepseek-r1:70b --verbose "Why the sky is blue?"
total duration: 7m40.520877476s
load duration: 44.929080471s
prompt eval count: 9 token(s)
prompt eval duration: 978.140334ms
prompt eval rate: 9.20 tokens/s
eval count: 1219 token(s)
eval duration: 6m53.916725273s
eval rate: 2.95 tokens/s


Un poil plus petit, 6 fois plus lent.

Moi j'en veux, je veux en entrainer un spécialement pour reconnaitre l'architecture des bâtiments, sur base d'image et de Nuage de point et de reconnaitre et nommer différents éléments constitutif d'un bâtiment, je fais comment ?

Attention, ce n'est pas comme une image docker ou autre, faut pas mettre ":latest" ou autre !

Tu vas sur la page que je t'ai donné, et tu choisis un modèle quantifié et télécharge-le (faut que tu ai un compte) :


Pour télécharger, faudrait un lien comme :
https://huggingface.co/un[...]Q4_K_M.gguf?download=true

(Attention, ici c'est un exemple d'un modèle quantifié de type Q4_K_M : En gros, un modèle a normalement des poids à 16bits, ici c'est 4bits pour plus de rapidité).
Je conseille le Q8 qui sont pas mal.

Hugging Face étant le site par excellence, tu as aussi les modèles de recherche dessus.

J'ai fait ollama pull https://huggingface.co/un[...]ext-80B-A3B-Instruct-GGUF et il me l'a chargé. Il est complet, le checksum est vérifié.

Le problème missing tensor 'blk.0.ssm_in.weight' est connu. Le format HF doit être adapté pour ollama.cpp : https://github.com/ggml-org/llama.cpp/issues/10244

This gguf is not compatible with current versions of llama.cpp, if you want to use this model you need to find a newer gguf file or convert it yourself to gguf from the HF model.



Je pense que celui ici https://ollama.com/library/qwen3-next:80b est la version adaptée du même LLM : Next, MoE, Q4_K_M, 80B.

Tu utilises quel logiciel et tu obtiens combien de tokens/s avec celui de HF ?

Je crois que Unsloth a fait une mise à jour hier qui a foutu la merde ...
Je viens de télécharger et j'ai le même pb sur les nouvelles version, et pas sur les anciennes ...
J'utilise text-generation-webui, la version à jour de github

Je vais reprendre ceux de LM-studio ou bartowski pour être sur


EDIT : Fonctionne : https://huggingface.co/lm[...]B-Instruct-GGUF/tree/main
Surement un version trop récente ou ancienne de llama.cpp

Essaie avec label-studio si tu veux un truc qui fasse de la reconaissance d'images

$ ollama run gemma3:27b "décris le plus précisément possible l'architecture de ce bâtiment" /home/zardoz/DSCF0063.jpg
Added image '/home/zardoz/DSCF0063.jpg'

Voici une description précise de l'architecture du bâtiment sur la photo :

**Style Général:**

Le bâtiment présente un style architectural classique, probablement néo-classique ou de la Renaissance française tardive. Il se distingue par sa symétrie rigoureuse et l'utilisation d'éléments décoratifs typiques de ces styles.

**Disposition:**

* **Cour d'honneur:** Le bâtiment est organisé autour d'une grande cour d'honneur pavée, typique des palais et
des manoirs importants.
* **Corps de Bâtiment Principal:** Le corps central du bâtiment est mis en valeur par une façade plus imposante
et richement décorée. Il semble comporter un rez-de-chaussée, un étage principal, et un niveau de combles.
* **Ailes Latérales:** De chaque côté du corps central se trouvent des ailes latérales, probablement de hauteur similaire, créant une composition symétrique et équilibrée.

**Éléments Architecturaux:**

* **Façade:** La façade est construite en pierre de couleur claire (beige ou crème). Elle est rythmée par des fenêtres rectangulaires, souvent ornées de balcons ou de garde-corps en fer forgé.
* **Fenêtres:** Les fenêtres sont généralement encadrées par des pilastres et surmontées de frontons triangulaires ou courbes, ajoutant un aspect décoratif à la façade.
* **Portails et Entrées:** L'entrée principale est marquée par un portail monumental, surmonté d'un fronton élaboré. L'accès se fait par un escalier majestueux.
* **Corniches et Frises:** Des corniches et des frises ornent le sommet des murs, soulignant les niveaux de l'édifice et ajoutant une touche de sophistication.
* **Toiture:** La toiture est probablement en pente douce, avec des combles aménageables. Elle pourrait être recouverte de tuiles ou d'ardoises.
* **Décorations:** La façade est ornée de sculptures, de bas-reliefs et d'autres éléments décoratifs, typiques des styles néo-classique et de la Renaissance. Des éléments ornementaux sont également présents sur les balcons et les garde-corps.

**Autres Caractéristiques:**

* **Colonnes et Pilastres:** Des colonnes et des pilastres classiques soutiennent les éléments architecturaux et contribuent à l'esthétique générale du bâtiment.
* **Éléments de Verdure:** Des arbustes et des arbres sont disposés le long de la cour, ajoutant une touche de verdure et d'élégance à l'ensemble.

En résumé, le bâtiment est un exemple impressionnant d'architecture classique, caractérisé par sa symétrie, sa richesse décorative et son élégance intemporelle.

Description avec Grok :

Voici une description très précise de l'architecture du bâtiment visible sur ta photo, qui correspond à l'Hôtel de Matignon (résidence officielle du Premier ministre français), vu depuis la cour d'honneur :
Style général et époque

Style : Régence très pur (transition entre le classicisme louis-quatorziens et le rococo naissant Louis XV)
Période de construction : 1722–1725
Architecte principal : Jean Courtonne (avec intervention ponctuelle d'Antoine Mazin pour le portail d'entrée)

Organisation d'ensemble (type « entre cour et jardin »)

Corps de logis principal en double profondeur (deux rangées de pièces successives)
Façade sur cour plus étroite que celle sur jardin (à cause de la présence d'une grande cour des écuries/remises sur le côté droit)
Plan légèrement désaxé : l'axe de la façade sur cour n'est pas exactement aligné avec celui de la façade sur jardin

La cour d'honneur (premier plan sur la photo)

Forme approximativement trapézoïdale/ovale très ouverte
Pavage en pierre claire, très minéral, avec une légère pente vers le centre
Deux ailes basses latérales symétriques (rez-de-chaussée + comble à surcroît discret), servant autrefois d'écuries, remises, cuisines et logements de service
Ces ailes sont reliées au corps principal par des retours très courts
Grande ouverture vers la rue via un portail en hémicycle (demi-cercle) encadré de deux paires de colonnes ioniques engagées

Façade principale sur cour (corps de logis central)

Élévation : rez-de-chaussée + étage noble + attique/couronnement discret
Élévation sur terrasse haute (quelques marches pour y accéder)
Rythme : 11 travées (ouvertures) au total, avec forte saillie de l'avant-corps central
Avant-corps central (élément le plus spectaculaire) :
pans coupés (forme légèrement concave/brisée très caractéristique du style Régence)
Trois niveaux d'ouvertures :
– rez-de-chaussée → porte monumentale + deux fenêtres
– 1er étage → balcon filant sur toute la largeur de l'avant-corps, soutenu par des consoles sculptées
– attique → fenêtres plus petites
Décor sculpté très riche (typique Régence/rocaille précoce) :
• têtes de lion sur les consoles du balcon
• mascaron (tête d'Hercule ou figure puissante) au-dessus de la porte centrale
• trophées d'armes, guirlandes, rinceaux très abondants sur les pans coupés
• autrefois un grand écu armorié au sommet (aujourd'hui disparu ou remplacé)

Parties latérales (de chaque côté de l'avant-corps) :
plus sobres, alignement régulier de fenêtres
encadrements moulurés, clefs saillantes, petits balcons individuels à l'étage noble sur les travées centrales des ailes latérales

Couronnement :
puissante balustrade en pierre couronnant l'ensemble (avec parfois des vases ou dés de pierre)
toiture en ardoise très peu visible depuis la cour (presque plate)


Caractéristiques remarquables

Contraste entre la sobriété générale des lignes classiques et l'abondance décorative rocaille concentrée sur l'avant-corps central
Ferronnerie d'origine (balcon du 1er étage) très finement travaillée
Pierre de taille calcaire blonde typique des grands hôtels parisiens du XVIIIe
Absence quasi-totale de couleurs (tout est dans les tons crème/beige de la pierre + gris des ardoises)

C'est l'un des plus beaux exemples conservés d'hôtel particulier Régence à Paris, avec une façade sur cour particulièrement théâtrale et monumentale malgré une relative retenue par rapport aux créations plus tardives de style Louis XV pur.
Un véritable bijou architectural du début du XVIIIe siècle ! 😊1,5sRapide52 sourcesje souhaites avoir les mesures de chaque éléments formant le rythme de la façadeVoici les mesures et proportions les plus précises possibles pour le rythme de la façade sur cour d'honneur de l'Hôtel de Matignon (d'après les descriptions architecturales classiques, les gravures d'époque comme celles de Blondel, et les analyses disponibles — note que les dimensions exactes en mètres ne sont pas publiées publiquement de manière officielle, car il s'agit d'un bâtiment sécurisé et résidence du Premier ministre).
Composition rythmique globale de la façade sur cour

Nombre total de travées (ouvertures / axes verticaux) : 11 travées
(composition classique : 5 travées à gauche + avant-corps central de 3 travées + 5 travées à droite, mais avec un fort accent sur le centre)
Largeur totale estimée de la façade principale (corps de logis, hors ailes basses latérales) : environ 35–38 mètres (typique des grands hôtels Régence de cette envergure, avec une façade sur cour plus étroite que celle sur jardin)

Rythme détaillé par parties
Élément Nombre de travées Largeur approximative par travée Largeur totale de la partie Remarques / particularitésPartie gauche (ailes latérales)5 travées~2,8–3,2 m~14–16 mTrès régulière, fenêtres simples, sobresAvant-corps central (saillie principale)3 travées~4,0–4,5 m (travée centrale plus large)~12–13,5 mPans coupés (forme légèrement concave), le plus richement décoréPartie droite (ailes latérales)5 travées~2,8–3,2 m~14–16 mSymétrique à la gaucheTotal façade corps principal11 travéesMoyenne ~3,3–3,5 m~35–38 mRythme 5 + 3 + 5, très marqué par le centre
Hauteurs (élévations verticales – estimées d'après les proportions classiques Régence)

Hauteur totale du corps de logis (du sol de la terrasse jusqu'au sommet de la balustrade) : ≈ 12–14 m
Rez-de-chaussée (soubassement + fenêtres hautes) : ≈ 5–5,5 m
Étage noble (le plus important visuellement) : ≈ 5,5–6 m (hauteur sous plafond intérieure souvent autour de 5,80–6 m)
Attique / comble (fenêtres plus petites + balustrade) : ≈ 2–2,5 m
Balcon central (largeur) : suit exactement les 3 travées de l'avant-corps → ≈ 12–13,5 m de large
Hauteur de la terrasse d'accès (marches depuis la cour) : ≈ 0,8–1,2 m

Particularités du rythme qui donnent toute sa force à la façade

Le contraste très marqué entre les travées latérales régulières et étroites (~3 m) et l'avant-corps central très large et saillant (presque 1,4 fois plus large par travée que les parties latérales) crée l'effet théâtral typique Régence.
Les pans coupés de l'avant-corps central élargissent visuellement cette partie de ~15–20 % par rapport à une projection droite classique.
La balustrade sommital (couronnement) court sur toute la longueur sans interruption, unifiant le rythme horizontal malgré l'accent vertical du centre.

Ces proportions (rythme 5-3-5 avec forte saillie centrale) sont caractéristiques de Jean Courtonne et expliquent pourquoi cette façade reste l'une des plus admirées et photographiées des hôtels particuliers parisiens du XVIIIᵉ, malgré l'absence de dimensions officielles ultra-précises dans les sources publiques.
Si tu as accès à une photo haute résolution ou à un plan précis, on peut affiner encore plus l'estimation !

Les IA en cloud sont imbattables par le libre.

En plus, il donne les cotes, ce chacal.

Merci et Merci à @Zardoz pour vos réponses.

Vous pourrez peut-être me guider.

Je m'explique, je voudrais que des éléments architecturaux de façades soit reconnue sur des orthoimages et des nuages de points massifs. Qu'ensuite certain paramètres précis soient extrait par "IA" et ce afin d'alimenter un agent qui fera l'encodage des paramètres retrouver par la reconnaissance sur les images ou le NP.

Est-ce clair.

pensez-vous que c'est faisables à la maison ?

Pour les cotations je suis sur que cela ne se base pas sur les photos, mais sur les connaissances pompées