[AI] LE TOPAX DES LLMS sur Onche, votre espace de liberté

Ammortel

Zardoz

14j

L'image arrive sur ollama

https://ollama.com/blog/image-generation

j'essayais justement d'en faire avec un script python et j'avais un bug de la carte graphique. Je me demande si ça fonctionnera avec ollama

il y a 13 jours

Zardoz

Ammortel

13j

j'essayais justement d'en faire avec un script python et j'avais un bug de la carte graphique. Je me demande si ça fonctionnera avec ollama

Pour le moment c'est Mac only, mais ça n tardera pas à débarquer pour les autres.

Sinon pour les images, tu as pas mal de choix d'UI : ComfyUI, Automatic1111 pour ne cite que les précurseurs. En plus de l'UI, ils installent un REST API que ton script peut appeler sans se soucier de charger le modèle. Il faut cependant installer les drivers graphiques à la main.

Certifié tous gaz.

il y a 13 jours

VisualStudio

Quelqu'un a utilisé qwen code next 80b ? Je trouves qu'il a tendance à changer le code fonctionnel à chaque fois et à changer des choses qui n'étaient pas nécessaire, à chaque changement demandé, on dirait qu'il regénère quelque chose de nouveau et introduit des nouveaux bugs.

Quelqu'un trouve qui a le même problème ?

Je vous aime les kheys, prenez soins de vous

il y a 11 jours

Ammortel

VisualStudio

11j

Quelqu'un a utilisé qwen code next 80b ? Je trouves qu'il a tendance à changer le code fonctionnel à chaque fois et à changer des choses qui n'étaient pas nécessaire, à chaque changement demandé, on dirait qu'il regénère quelque chose de nouveau et introduit des nouveaux bugs.

Quelqu'un trouve qui a le même problème ?

Peut-être que tu ne lui donnes pas assez de contexte ?

/show info

sur ollama pour voir le contexte. Par défaut c'est 262144 pour le coder de ce que je vois.

il y a 10 jours

Ammortel

VisualStudio

11j

Quelqu'un a utilisé qwen code next 80b ? Je trouves qu'il a tendance à changer le code fonctionnel à chaque fois et à changer des choses qui n'étaient pas nécessaire, à chaque changement demandé, on dirait qu'il regénère quelque chose de nouveau et introduit des nouveaux bugs.

Quelqu'un trouve qui a le même problème ?

Sinon c'est sûrement normal... Ce n'est pas le même niveau que chatGPT ou claude code.

il y a 10 jours

ANTIGAFAM2023

VisualStudio

11j

Quelqu'un a utilisé qwen code next 80b ? Je trouves qu'il a tendance à changer le code fonctionnel à chaque fois et à changer des choses qui n'étaient pas nécessaire, à chaque changement demandé, on dirait qu'il regénère quelque chose de nouveau et introduit des nouveaux bugs.

Quelqu'un trouve qui a le même problème ?

Toutes les IA ont le même pb, en texte ou en image :
- Elles ont tendance à retoucher ou modifier des choses qui marchent de manière "involontaire".

Tu as le même pb sur les IA qui font du code, en ligne : Elles modifient des fois des variables n'ayant rien à voir.

La meilleur solution reste la relecture humaine et de merger uniquement ce qui avait besoin d'être corrigé.

Mon propos est imaginaire et fictif, il n'implique donc aucun fait ou élément réel et toute ressemblance serait fortuite

il y a 10 jours

Ammortel

ANTIGAFAM2023

1 mois

Un partie du LLM est chargé sur le GPU en vRAM, une autre partie est chargé en RAM le calcul se faisant sur CPU. (Modele type GGUF avec llama.cpp)
Avec un bon proc, tu es à ~15 token/s sans opti.

J'ai essayé de mettre en SWAP plutot qu'en RAM aussi, là par contre les perfs tombe à 2 token/s au mieux.

D'ailleurs il y a des nouvelle technos pour charger selectivement le modele plusieurs fois.

Les optis avancent trés vite dans le secteur.

J'ai testé qwen3-next et c'est vraiment une tuerie. Plus rapide et avec de meilleurs réponses que des modèles plus gros...

Ce ne serait pas les modèles qwen les meneurs des IA open source ?

il y a 4 jours

Ammortel

[ALERTE]

https://opencode.ai/

Vous utilisez ça ?

Je trouve ça super cool

Je lui laisse le plein accès à mon système et capacité d'accéder à l'internet

il y a un jour