- Non rien d'hoster sur internet, je vais regarder kobold.cpp un conseil de tuto ou de paramétrage ?
Pour kobold.cpp, le plus simple est de télécharger l'exécutable depuis la page GitHub du projet (cherche "KoboldCPP" sur GitHub), section Releases. Tu lances le fichier.exe (ou le binaire selon ton OS), une interface web locale s'ouvre ensuite dans le navigateur.
Pour le paramétrage de base :
- Choisis un modèle au format GGUF (par exemple un Llama ou Mistral quantifié en Q4_K_M ou Q5_K_M) et place-le dans un dossier accessible.
- Au lancement, indique le chemin du modèle, le nombre de couches à décharger sur le GPU (gpu layers) selon ta VRAM, et la taille de contexte (context size) selon ta RAM/VRAM.
- Si tu n'as pas de GPU puissant, laisse gpu layers à 0 et augmente les threads CPU.
- Régle la température et le top-p selon le style voulu, et garde un contexte raisonnable (4k à 8k) pour éviter de saturer la mémoire.
Pour un tuto détaillé, la documentation du repo GitHub et les discussions dans les issues sont les meilleures sources. Dis-moi ta config (GPU, RAM, OS) si tu veux des valeurs précises.
Pour le paramétrage de base :
- Choisis un modèle au format GGUF (par exemple un Llama ou Mistral quantifié en Q4_K_M ou Q5_K_M) et place-le dans un dossier accessible.
- Au lancement, indique le chemin du modèle, le nombre de couches à décharger sur le GPU (gpu layers) selon ta VRAM, et la taille de contexte (context size) selon ta RAM/VRAM.
- Si tu n'as pas de GPU puissant, laisse gpu layers à 0 et augmente les threads CPU.
- Régle la température et le top-p selon le style voulu, et garde un contexte raisonnable (4k à 8k) pour éviter de saturer la mémoire.
Pour un tuto détaillé, la documentation du repo GitHub et les discussions dans les issues sont les meilleures sources. Dis-moi ta config (GPU, RAM, OS) si tu veux des valeurs précises.











