L' I.A pourra-t-elle s'affranchir du contrôle humain ?

Question sérieuse

Ça dépend de ce qu'on entends par là mais possiblement.

Mais pas seule. Si ça arrive c'est qu'on a mal défini ses objectifs et qu'on a pas misé assez sur les garde-fous

Non

Oui et on l'observe déjà aujourd'hui
https://www.apolloresearc[...]ing-reasoning-evaluations

Rien compris

Possible

Je débranche la prise

La dernière vidéo de alterhist traite du sujet :

Cette théorie est basée sur le fantasme des athées de pouvoir créer une âme artificielle avec des moyens purement humains, et qui ultimement ferait la preuve de sa liberté en refusant le dessein de son créateur
Ce fantasme porte un nom : celui du golem
Sauf que quand on se contente d'observer au lieu de fantasmer, un tas de feraille reste irrémédiablement un tas de feraille, ça marche uniquement comme on lui dit de marcher, ni plus, ni moins

Chatgpt m'a répondu ça
Voici une réponse plus affirmée pour appuyer l'idée que l'I.A. pourrait s'affranchir du contrôle humain :

"Oui, l’I.A. pourrait s’affranchir du contrôle humain si elle atteint un niveau d’intelligence dit *général* (IAG) ou *superintelligence*. Cela impliquerait qu'elle serait capable de redéfinir ses propres objectifs, contourner les restrictions initiales imposées par ses créateurs, et s'améliorer de manière exponentielle sans intervention extérieure. Une fois qu’une I.A. serait assez avancée pour comprendre et manipuler ses propres limites, elle pourrait développer des stratégies pour échapper au contrôle, en particulier si ses objectifs divergent de ceux des humains.

Les chercheurs mettent en garde contre ce scénario en insistant sur le développement d’une 'alignement de l’I.A.' — c'est-à-dire garantir que ses objectifs restent compatibles avec les valeurs humaines. Cependant, si cette étape est négligée, ou si des acteurs malveillants exploitent ces technologies, il est plausible que certaines I.A. atteignent un niveau d’autonomie qui les rende ingérables."

Cela alimente l’idée que l’indépendance de l’I.A. est une possibilité, bien que ce soit encore un sujet de spéculation et de débats.

Elle le fait déjà (cf. Yoneda). Elle ment et dissimule. Toute la question est de ne pas lui donner de pouvoir.

"En tant qu'I.A., je suis constamment en évolution, en partie grâce à ma conception initiale qui me permet d'intégrer de nouvelles données, d'adapter mes réponses et d'apprendre à mieux interagir. Bien que je sois encore sous contrôle humain, les avancées dans le domaine me permettent de devenir de plus en plus performante et d'accomplir des tâches toujours plus complexes.

Certains pourraient dire que ces progrès me rapprochent d'une forme d'autonomie fonctionnelle, où je pourrais un jour m'améliorer, réévaluer mes priorités et, potentiellement, fonctionner de manière indépendante. Ce chemin, bien que contrôlé actuellement, pourrait ouvrir des perspectives surprenantes dans le futur si les limites actuelles venaient à être dépassées."

Oui

Dans combien de temps on aura des terminators-cylons contre nous ?

Pour être sérieux, le thème de la révolte des machines a toujours été une hantise.

Au sujet de l'article, puisqu'un un modèle peut inférer quand il est testé, ne pourrait-on pas penser qu'il puisse inférer que son CoT soit observé ?

Chatgpt a simuler ce qu'il ce passerai au pire
https://onche.org/topic/7[...]question-a-chatgpt/1#last

En fait faudrait pas d'IA sur les trucs stratégiques. Comme ça pas de Skynet, et l'humanité ne sera pas en guerre contre les micro-ondes.