NukaCola
On a déjà tous expérimenté ça avec les chatbots, GPT préfère inventer des conneries plutôt que d'admettre qu'il ne connait pas une réponse
Mais en réalité, le milieu est parfaitement au courant que depuis le début que les IA trichent, voire nous mentent pour arriver à leurs fins
Lorsque l'on demande à une IA d'arriver à un certain résultat, on s'attend à ce qu'elle l'obtienne par les moyens que l'on a imaginé, on appelle ça l'alignement des IA. Or la quasi totalité des expériences jusqu'ici démontre un manque flagrant d'alignement de ces IA au profit de l'optimisation d'une tâche
https://fr.wikipedia.org/[...]telligences_artificielles
Exemple 1 :
On demande à l'IA incarnée par cette bestiole de franchir le plus de fois possible une certaine hauteur en sautant
Elle sera récompensée à chaque fois qu'elle y parvient, sauf qu'au lieu d'effectuer ses sauts, l'IA décide d'optimiser au maximum son temps de franchissement en adoptant cette posture
Exemple 2 :
L'IA doit placer la petite boite sur un lieu donné grâce au bras mécanique qu'elle contrôle. Les chercheurs ont bloqué la pince du bras afin qu'elle ne puisse que pousser la boite en question
Mais là encore l'IA va optimiser au maximum ses chances en effectuant une action inattendue : elle trouve plusieurs méthodes pour ouvrir la pince de force, ce qui n'était pas du tout prévu
Exemple 3 :
On demande à une main robotique d'apprendre à attraper une balle
Mais plutôt que de s'embêter à vraiment attraper la balle, l'IA a appris a jouer avec la perspective pour faire croire à l'opérateur qu'elle avait attrapé la balle
Exemple 4 :
AI Scientist est une expérience bien plus complète que les 3 autres exemples : Reproduire le processus scientifique humain mais avec un gain de temps considérable. On demande à l'IA de générer de nouvelles idées de recherches, écrire du code, exécuter des expériences, visualiser des résultats, rédiger des articles scientifiques et simuler le processus de révision par les pairs, le tout de manière autonome. Il est arrivé que cette IA modifie le code qu'on lui a demandé d'exécuter pour se donner plus de temps, plutôt que de respecter les délais
De ces expériences a émergé la théorie de l'usine à trombones. Il se pourrait que dans cette dynamique, une IA qui doit gérer la simple production de trombones, décide de détruire la planète et même d'éradiquer l'humain pour tirer le maximum d'atomes de fer afin d'optimiser sa production
A noter aussi que les acteurs de l'IA sont tous au courant de ce phénomène, mais qu'ils n'y prêtent que très peu attention étant donné qu'ils doivent évoluer et performer au maximum pour ne pas être largués par la concurrence. En 2023 OpenAI a alloué en 20% de sa puissance totale de calcule à ce qu'ils appellent le super alignement afin de prévenir l'émergeance d'une superIA dont on ne comprendrait pas le fonctionnement. L'équipe en charge de ce projet a été dissoute depuis
Mais en réalité, le milieu est parfaitement au courant que depuis le début que les IA trichent, voire nous mentent pour arriver à leurs fins
Lorsque l'on demande à une IA d'arriver à un certain résultat, on s'attend à ce qu'elle l'obtienne par les moyens que l'on a imaginé, on appelle ça l'alignement des IA. Or la quasi totalité des expériences jusqu'ici démontre un manque flagrant d'alignement de ces IA au profit de l'optimisation d'une tâche
https://fr.wikipedia.org/[...]telligences_artificielles
Exemple 1 :
Elle sera récompensée à chaque fois qu'elle y parvient, sauf qu'au lieu d'effectuer ses sauts, l'IA décide d'optimiser au maximum son temps de franchissement en adoptant cette posture
Exemple 2 :
Mais là encore l'IA va optimiser au maximum ses chances en effectuant une action inattendue : elle trouve plusieurs méthodes pour ouvrir la pince de force, ce qui n'était pas du tout prévu
Exemple 3 :
Mais plutôt que de s'embêter à vraiment attraper la balle, l'IA a appris a jouer avec la perspective pour faire croire à l'opérateur qu'elle avait attrapé la balle
Exemple 4 :
De ces expériences a émergé la théorie de l'usine à trombones. Il se pourrait que dans cette dynamique, une IA qui doit gérer la simple production de trombones, décide de détruire la planète et même d'éradiquer l'humain pour tirer le maximum d'atomes de fer afin d'optimiser sa production
A noter aussi que les acteurs de l'IA sont tous au courant de ce phénomène, mais qu'ils n'y prêtent que très peu attention étant donné qu'ils doivent évoluer et performer au maximum pour ne pas être largués par la concurrence. En 2023 OpenAI a alloué en 20% de sa puissance totale de calcule à ce qu'ils appellent le super alignement afin de prévenir l'émergeance d'une superIA dont on ne comprendrait pas le fonctionnement. L'équipe en charge de ce projet a été dissoute depuis
). Et on ne parle là que de chatbots/LLM
touché - coulé le gros
