comment on utilise ça ?
Bon finalement j'ai pas réussi à le faire fonctionner, erreur de nccl, jl'ai pourtant installé via les repos d'Archlinux puis testé en téléchargeant directement sur le site de NVIDIA puis via conda.
Puis j'ai trouvé ce repo qui propose la même chose mais avec une Interface web à la CHATGPT, le frontend est fait via SvelteKit et l'API via fastapi, mais bon osef si vous voulez pas toucher au code.
https://www.google.com/ur[...]Vaw2rDV8f1gz6bwTUgH0yUk6W
Suffit d'installer docker et docker-compose et suivre les instructions, (sous Linux en tout cas), on peut directement DL le 7B/30B dessus en le passant comme parameter.
C'est un peu lent mais ça fonctionne de mon côté, je viens de le faire fonctionner donc je peux pas vous dire ça donne quoi pour l'instant
Puis j'ai trouvé ce repo qui propose la même chose mais avec une Interface web à la CHATGPT, le frontend est fait via SvelteKit et l'API via fastapi, mais bon osef si vous voulez pas toucher au code.
Suffit d'installer docker et docker-compose et suivre les instructions, (sous Linux en tout cas), on peut directement DL le 7B/30B dessus en le passant comme parameter.
C'est un peu lent mais ça fonctionne de mon côté, je viens de le faire fonctionner donc je peux pas vous dire ça donne quoi pour l'instant
Je sais pas si ça DL exactement les mêmes models mais probablement, tu peux tester maintenant, le 7B met quelques minutes à DL
4.5GB libres pour le 7B
12 pour le 13B
20 pour le 30B
D'après le README du repo
Mais c'est le CPU qui souffle
12 pour le 13B
20 pour le 30B
D'après le README du repo
Mais c'est le CPU qui souffle
Pas de soucis, ça annonce du bon pour la suite en tout cas
Si on pouvait se louer une machine de guerre à plusieurs et déployer le 30B voir au dessus ça ce serait cool
Le 7B a l'air bien con en tout cas
Si on pouvait se louer une machine de guerre à plusieurs et déployer le 30B voir au dessus ça ce serait cool
Le 7B a l'air bien con en tout cas
Je viens de louer la machine la plus puissante avec shared CPU sur Hetzner et malgré ça c'est encore super lent même avec le 7B
Je vais tester quelques minutes avec une machine avec dedicated CPU à +500€ par mois pour voir, 48 vCPU 192GB de RAM
Edit : ils ont plus de disponibilité pour le moment dommage
Édit 2 : Testé avec le 7B et 30 B sur une machine à+1000€ par mois (48vcpu 96gb de RAM) sur Digital Ocean et ça met plusieurs minutes à donner une réponse basique, sûrement un problème au niveau du code sinon je vois pas comment ce serait utilisable, à rechecker dans quelques semaines
Je vais tester quelques minutes avec une machine avec dedicated CPU à +500€ par mois pour voir, 48 vCPU 192GB de RAM
Edit : ils ont plus de disponibilité pour le moment dommage
Édit 2 : Testé avec le 7B et 30 B sur une machine à+1000€ par mois (48vcpu 96gb de RAM) sur Digital Ocean et ça met plusieurs minutes à donner une réponse basique, sûrement un problème au niveau du code sinon je vois pas comment ce serait utilisable, à rechecker dans quelques semaines
Bon finalement j'ai pas réussi à le faire fonctionner, erreur de nccl, jl'ai pourtant installé via les repos d'Archlinux puis testé en téléchargeant directement sur le site de NVIDIA puis via conda.
Puis j'ai trouvé ce repo qui propose la même chose mais avec une Interface web à la CHATGPT, le frontend est fait via SvelteKit et l'API via fastapi, mais bon osef si vous voulez pas toucher au code. https://www.google.com/ur[...]Vaw2rDV8f1gz6bwTUgH0yUk6W
Suffit d'installer docker et docker-compose et suivre les instructions, (sous Linux en tout cas), on peut directement DL le 7B/30B dessus en le passant comme parameter.
C'est un peu lent mais ça fonctionne de mon côté, je viens de le faire fonctionner donc je peux pas vous dire ça donne quoi pour l'instant
Puis j'ai trouvé ce repo qui propose la même chose mais avec une Interface web à la CHATGPT, le frontend est fait via SvelteKit et l'API via fastapi, mais bon osef si vous voulez pas toucher au code.
Suffit d'installer docker et docker-compose et suivre les instructions, (sous Linux en tout cas), on peut directement DL le 7B/30B dessus en le passant comme parameter.
C'est un peu lent mais ça fonctionne de mon côté, je viens de le faire fonctionner donc je peux pas vous dire ça donne quoi pour l'instant
Je viens de louer la machine la plus puissante avec shared CPU sur Hetzner et malgré ça c'est encore super lent même avec le 7B
Je vais tester quelques minutes avec une machine avec dedicated CPU à +500€ par mois pour voir, 48 vCPU 192GB de RAM
Edit : ils ont plus de disponibilité pour le moment dommage
Édit 2 : Testé avec le 7B et 30 B sur une machine à+1000€ par mois (48vcpu 96gb de RAM) sur Digital Ocean et ça met plusieurs minutes à donner une réponse basique, sûrement un problème au niveau du code sinon je vois pas comment ce serait utilisable, à rechecker dans quelques semaines
Je vais tester quelques minutes avec une machine avec dedicated CPU à +500€ par mois pour voir, 48 vCPU 192GB de RAM
Edit : ils ont plus de disponibilité pour le moment dommage
Édit 2 : Testé avec le 7B et 30 B sur une machine à+1000€ par mois (48vcpu 96gb de RAM) sur Digital Ocean et ça met plusieurs minutes à donner une réponse basique, sûrement un problème au niveau du code sinon je vois pas comment ce serait utilisable, à rechecker dans quelques semaines
Pourtant d'après les issues ils ont tous des problèmes sur MAC + aucun mac n'est aussi puissant que les machines sur lesquels je viens de tester, peut être un problème avec ce qui a été implémenté sur ce repo là en particulier
Je testerai avec le repo officiel + cli sur une grosse machine ce soir
Je testerai avec le repo officiel + cli sur une grosse machine ce soir