Je m'en remettrai pas
Sponsorisé
Connectez-vous pour masquer les pubs
L op va créer une machine à suicide de 3 balles dans le dos
Le posteur le plus rapide de l'Ouest Onchien
pret à aller en prison, je sais nager et j'ai soigné mes envie suicidaire + pas assez souple pour me mettre 7 balles dans le dos
J ai dit 3 pas 7
Je bosse sur un chatbot qui permet d'explorer des dossiers judiciaires publics en posant des questions
Le but c'est de pouvoir faire ses petites enquêtes soit même sur toutes les dingueries qu'on voit sortir tout les jours avec un GPT like.
L'idée:
des tonnes de documents légaux sont techniquement accessibles au public (procès, enquêtes, emails saisis...) mais en pratique personne peut les lire - c'est des milliers de pages en vrac, mal organisées, parfois juste des scans.
Résultat:
personne n'a jamais réussi à utiliser ces données en connectant tout ensemble
Le chatbot permet de poser des questions directement: "Que pense tu de l'implication de machin dans X au vu de ses relations avec tel pays"
Et il te répond avec les sources exactes, pas du bullshit inventé.
Je fais le travail d'extraction des données et la creation de l'architecture des bases de données et compagnie en local sur mon serveur, open source, données publiques uniquement.
Après je vais entrainer un tout petit modèle mistral 7B à piocher très sélectivement les données via l'architecture et à repondre aux questions
Je commence avec les Epstein Files parce que c'est le plus gros dump récent et y'a déjà une communauté qui a bossé dessus pour rendre les documents exploitables.
tout est sourcé dans la structure
toute la méthode est créée de A à Z mais j'essaye d'utiliser le max de données provenant de l'affaire epstein donc j'en cherche un peu partout pour bien faire ma bdd
Le but c'est de pouvoir faire ses petites enquêtes soit même sur toutes les dingueries qu'on voit sortir tout les jours avec un GPT like.
L'idée:
des tonnes de documents légaux sont techniquement accessibles au public (procès, enquêtes, emails saisis...) mais en pratique personne peut les lire - c'est des milliers de pages en vrac, mal organisées, parfois juste des scans.
Résultat:
personne n'a jamais réussi à utiliser ces données en connectant tout ensemble
Le chatbot permet de poser des questions directement: "Que pense tu de l'implication de machin dans X au vu de ses relations avec tel pays"
Et il te répond avec les sources exactes, pas du bullshit inventé.
Je fais le travail d'extraction des données et la creation de l'architecture des bases de données et compagnie en local sur mon serveur, open source, données publiques uniquement.
Après je vais entrainer un tout petit modèle mistral 7B à piocher très sélectivement les données via l'architecture et à repondre aux questions
Je commence avec les Epstein Files parce que c'est le plus gros dump récent et y'a déjà une communauté qui a bossé dessus pour rendre les documents exploitables.
tout est sourcé dans la structure
toute la méthode est créée de A à Z mais j'essaye d'utiliser le max de données provenant de l'affaire epstein donc j'en cherche un peu partout pour bien faire ma bdd
Bonne idée et bonne chance pour la suite !
TND - YWNBAW - TKD - WMSTEOOPAAFFWC
Sponsorisé
Connectez-vous pour masquer les pubs
De manière générale, comment activer un programme externe depuis un LLM.
Ça m'a pris un bout de temps parce que personne n'a pris la peine de dire que le traitement d'un prompt pouvait faire la navette entre le LLM et son exécuteur :
user --> prompt+tools --> LLM
invocation tool1 <-- LLM
réponse tool1 --> LLM
.....................
user <-- réponse finale <-- LLM
ce que j'ai découvert en épluchant le code d'exemples.
La doc ne suffit pas pour savoir comment répondre.
https://github.com/ollama[...]/docs/api.md#tool-calling
C'est un renversement du mode client-serveur et ça rentrait pas dans mon schéma mental.
Une fois ça pigé, c'est piece of cake. Ton exécuteur (le programme qui requête l'API) appelle le tool de la façon qu'il veut et dans le langage qu'il veut, ce qui te donne l'occasion de sanitiser les demandes du LLM.
Si tu as d'autres méthodes, je suis tout à l'écoute.
Ça m'a pris un bout de temps parce que personne n'a pris la peine de dire que le traitement d'un prompt pouvait faire la navette entre le LLM et son exécuteur :
user --> prompt+tools --> LLM
invocation tool1 <-- LLM
réponse tool1 --> LLM
.....................
user <-- réponse finale <-- LLM
ce que j'ai découvert en épluchant le code d'exemples.
La doc ne suffit pas pour savoir comment répondre.
C'est un renversement du mode client-serveur et ça rentrait pas dans mon schéma mental.
Une fois ça pigé, c'est piece of cake. Ton exécuteur (le programme qui requête l'API) appelle le tool de la façon qu'il veut et dans le langage qu'il veut, ce qui te donne l'occasion de sanitiser les demandes du LLM.
Si tu as d'autres méthodes, je suis tout à l'écoute.
Certifié tous gaz.
En ligne
237
Sur ce sujet0