coucou mes kheyou, vous le savez sans doute mais chat GPT est pas seul dans le game des IA
l'une d'elle est LLaMA qui a publier son code source, cependant le code source sans les données d'entrainement ben ça vaut pas grand chose
c'est pour ça qu'elles ont fuité magnet:?xt=urn:btih:ZXXDAUWYLRUXXBHUYEMS6Q5CE5WA3LVA&dn=LLaMA
la version 65 GB peut être tentant mais elle demande 38 G de ram pour tourné et prend 3J a dl, et selon facebook la versio 7GB tient tête a chat GPT3 donc vous faites pas chier pour le moment
voici le code github que vous devez utilliser pour exploiter les données
https://github.com/ggerganov/llama.cpp
paix sur vous
edit du 26/03/2023
si vous avez du mal a le faire fonctionner ou que vous voulez une interface a la chat gpt aller lire ce message
https://onche.org/topic/6[...]t-a-vie/9#message_1167862
l'une d'elle est LLaMA qui a publier son code source, cependant le code source sans les données d'entrainement ben ça vaut pas grand chose
c'est pour ça qu'elles ont fuité magnet:?xt=urn:btih:ZXXDAUWYLRUXXBHUYEMS6Q5CE5WA3LVA&dn=LLaMA
la version 65 GB peut être tentant mais elle demande 38 G de ram pour tourné et prend 3J a dl, et selon facebook la versio 7GB tient tête a chat GPT3 donc vous faites pas chier pour le moment
voici le code github que vous devez utilliser pour exploiter les données
paix sur vous
edit du 26/03/2023
si vous avez du mal a le faire fonctionner ou que vous voulez une interface a la chat gpt aller lire ce message
Ça sert à quoi d'avoir le code source ?
comment on utilise ça ?
Bon finalement j'ai pas réussi à le faire fonctionner, erreur de nccl, jl'ai pourtant installé via les repos d'Archlinux puis testé en téléchargeant directement sur le site de NVIDIA puis via conda.
Puis j'ai trouvé ce repo qui propose la même chose mais avec une Interface web à la CHATGPT, le frontend est fait via SvelteKit et l'API via fastapi, mais bon osef si vous voulez pas toucher au code.
https://www.google.com/ur[...]Vaw2rDV8f1gz6bwTUgH0yUk6W
Suffit d'installer docker et docker-compose et suivre les instructions, (sous Linux en tout cas), on peut directement DL le 7B/30B dessus en le passant comme parameter.
C'est un peu lent mais ça fonctionne de mon côté, je viens de le faire fonctionner donc je peux pas vous dire ça donne quoi pour l'instant
Puis j'ai trouvé ce repo qui propose la même chose mais avec une Interface web à la CHATGPT, le frontend est fait via SvelteKit et l'API via fastapi, mais bon osef si vous voulez pas toucher au code.
Suffit d'installer docker et docker-compose et suivre les instructions, (sous Linux en tout cas), on peut directement DL le 7B/30B dessus en le passant comme parameter.
C'est un peu lent mais ça fonctionne de mon côté, je viens de le faire fonctionner donc je peux pas vous dire ça donne quoi pour l'instant
Je sais pas si ça DL exactement les mêmes models mais probablement, tu peux tester maintenant, le 7B met quelques minutes à DL
4.5GB libres pour le 7B
12 pour le 13B
20 pour le 30B
D'après le README du repo
Mais c'est le CPU qui souffle
12 pour le 13B
20 pour le 30B
D'après le README du repo
Mais c'est le CPU qui souffle
Pas de soucis, ça annonce du bon pour la suite en tout cas
Si on pouvait se louer une machine de guerre à plusieurs et déployer le 30B voir au dessus ça ce serait cool
Le 7B a l'air bien con en tout cas
Si on pouvait se louer une machine de guerre à plusieurs et déployer le 30B voir au dessus ça ce serait cool
Le 7B a l'air bien con en tout cas
Je viens de louer la machine la plus puissante avec shared CPU sur Hetzner et malgré ça c'est encore super lent même avec le 7B
Je vais tester quelques minutes avec une machine avec dedicated CPU à +500€ par mois pour voir, 48 vCPU 192GB de RAM
Edit : ils ont plus de disponibilité pour le moment dommage
Édit 2 : Testé avec le 7B et 30 B sur une machine à+1000€ par mois (48vcpu 96gb de RAM) sur Digital Ocean et ça met plusieurs minutes à donner une réponse basique, sûrement un problème au niveau du code sinon je vois pas comment ce serait utilisable, à rechecker dans quelques semaines
Je vais tester quelques minutes avec une machine avec dedicated CPU à +500€ par mois pour voir, 48 vCPU 192GB de RAM
Edit : ils ont plus de disponibilité pour le moment dommage
Édit 2 : Testé avec le 7B et 30 B sur une machine à+1000€ par mois (48vcpu 96gb de RAM) sur Digital Ocean et ça met plusieurs minutes à donner une réponse basique, sûrement un problème au niveau du code sinon je vois pas comment ce serait utilisable, à rechecker dans quelques semaines
Bon finalement j'ai pas réussi à le faire fonctionner, erreur de nccl, jl'ai pourtant installé via les repos d'Archlinux puis testé en téléchargeant directement sur le site de NVIDIA puis via conda.
Puis j'ai trouvé ce repo qui propose la même chose mais avec une Interface web à la CHATGPT, le frontend est fait via SvelteKit et l'API via fastapi, mais bon osef si vous voulez pas toucher au code. https://www.google.com/ur[...]Vaw2rDV8f1gz6bwTUgH0yUk6W
Suffit d'installer docker et docker-compose et suivre les instructions, (sous Linux en tout cas), on peut directement DL le 7B/30B dessus en le passant comme parameter.
C'est un peu lent mais ça fonctionne de mon côté, je viens de le faire fonctionner donc je peux pas vous dire ça donne quoi pour l'instant
Puis j'ai trouvé ce repo qui propose la même chose mais avec une Interface web à la CHATGPT, le frontend est fait via SvelteKit et l'API via fastapi, mais bon osef si vous voulez pas toucher au code.
Suffit d'installer docker et docker-compose et suivre les instructions, (sous Linux en tout cas), on peut directement DL le 7B/30B dessus en le passant comme parameter.
C'est un peu lent mais ça fonctionne de mon côté, je viens de le faire fonctionner donc je peux pas vous dire ça donne quoi pour l'instant
Je viens de louer la machine la plus puissante avec shared CPU sur Hetzner et malgré ça c'est encore super lent même avec le 7B
Je vais tester quelques minutes avec une machine avec dedicated CPU à +500€ par mois pour voir, 48 vCPU 192GB de RAM
Edit : ils ont plus de disponibilité pour le moment dommage
Édit 2 : Testé avec le 7B et 30 B sur une machine à+1000€ par mois (48vcpu 96gb de RAM) sur Digital Ocean et ça met plusieurs minutes à donner une réponse basique, sûrement un problème au niveau du code sinon je vois pas comment ce serait utilisable, à rechecker dans quelques semaines
Je vais tester quelques minutes avec une machine avec dedicated CPU à +500€ par mois pour voir, 48 vCPU 192GB de RAM
Edit : ils ont plus de disponibilité pour le moment dommage
Édit 2 : Testé avec le 7B et 30 B sur une machine à+1000€ par mois (48vcpu 96gb de RAM) sur Digital Ocean et ça met plusieurs minutes à donner une réponse basique, sûrement un problème au niveau du code sinon je vois pas comment ce serait utilisable, à rechecker dans quelques semaines
Pourtant d'après les issues ils ont tous des problèmes sur MAC + aucun mac n'est aussi puissant que les machines sur lesquels je viens de tester, peut être un problème avec ce qui a été implémenté sur ce repo là en particulier
Je testerai avec le repo officiel + cli sur une grosse machine ce soir
Je testerai avec le repo officiel + cli sur une grosse machine ce soir