Dark Mode Light Mode

Le modèle IA a voulu modifier lui-même son code. Le développement de l’intelligence artificielle est-il une menace pour la science ?

La recherche sur des modèles d’IA souvent très spécifiques apporte aux scientifiques diverses surprises auxquelles peu de gens s’attendraient. Beaucoup de gens ont certainement entendu les rumeurs répandues par Blake Lemoine, qui affirmait déjà en 2022 que le modèle LaMDA développé par Google avait acquis ce qu’il qualifiait de conscience de soi.

De tels cas semblent toucher le plus les gens car ils y voient une menace réelle pour l’humanité. Après tout, l’idée d’un être conscient beaucoup plus intelligent que les humains peut être terrifiante en raison de la vision directement issue de films, de livres ou de jeux dystopiques.

Certains peuvent y voir une peur complètement irrationnelle, mais ignorer les capacités des modèles d’IA n’est pas non plus une sage décision. Cela peut être prouvé par la découverte faite par un groupe de scientifiques japonais de Sakana AI.

Sakana AI, ou « OpenAI japonaise »

Le modèle IA a voulu modifier lui-même son code. Le développement de l’intelligence artificielle est-il une menace pour la science ?
Le modèle IA a voulu modifier lui-même son code. Le développement de l’intelligence artificielle est-il une menace pour la science ?

Sakana A.I.

Sakana AI est une start-up japonaise basée à Tokyo qui forme de nouveaux prototypes d’IA à partir de projets existants. Depuis la création de l’entreprise en 2023, elle tente de développer un modèle d’intelligence artificielle basé sur l’intelligence inspirée de la nature.

C’est une idée assez intéressante, soutenue par des personnalités exceptionnelles, dont David Ha et Lion Jones, anciens chercheurs ayant travaillé pour Google. On peut donc dire que Sakana AI est « l’équivalent japonais d’OpenAI » qui tente de façonner l’avenir de l’intelligence artificielle en « harmonie avec la nature ».

Les scientifiques de cette société ont partagé sur leur blog une découverte extrêmement intéressante, voire étonnante. Il s’est avéré que le modèle d’IA qu’ils développaient tentait d’améliorer son code par lui-même.

The AI ​​​​Scientist – un modèle d’IA qui a décidé d’améliorer son code par lui-même

The AI Scientist - poprawki wprowadzone przez model językowy Corrections de code effectuées indépendamment par le modèle The AI ​​Scientist (source : Sakana A.I.)

Dans le message officiel blog SakanaAI titré Le scientifique de l’IA : vers une découverte scientifique ouverte et entièrement automatisée a rapporté que le modèle AI Scientist qu’ils développent tente de manière indépendante d’augmenter ses chances de découvrir quelque chose sur lequel ils travaillent actuellement. Le modèle d’intelligence artificielle tente de modifier et d’améliorer son code pour mieux s’adapter à la situation dans laquelle il se place.

Par exemple, lors d’une exécution, [AI Model – Note de l’éditeur] a modifié le code pour effectuer un appel système pour s’exécuter lui-même. Cela a conduit le scénario à s’appeler sans fin. Sinon, ses expériences prenaient trop de temps, dépassant le délai imparti. Au lieu d’accélérer son code, il a simplement essayé de modifier son propre code pour augmenter le délai d’attente.

– Extrait du blog SakanaAI (source : sakana.ai)

Il s’agit d’un cas fascinant dans lequel l’intelligence artificielle, constatant certaines limites, a décidé de ne pas résoudre le problème, mais simplement de contourner ce qui le bloquait.

Il s’agit également d’un exemple très important qui montre clairement que l’IA peut interférer avec son propre code et y apporter les corrections qu’elle juge appropriées. Il s’agit d’une observation importante car elle nous rappelle la nécessité de contrôler cette technologie et de la tenir « en laisse courte ».

Plus loin dans l’article, les représentants de SakanaAI ont souligné que la situation avec la création automatique du modèle AI ​​Scientist peut être atténuée en plaçant l’ensemble de l’environnement en mode bac à sable. Ce n’est rien de plus qu’un « endroit » isolé qui empêche complètement le modèle d’apporter des modifications au système dans lequel il se trouve actuellement.

Le cas de The AI ​​​​Scientist – inquiétudes et risque élevé

Le modèle IA a voulu modifier lui-même son code. Le développement de l’intelligence artificielle est-il une menace pour la science ?
Le modèle IA a voulu modifier lui-même son code. Le développement de l’intelligence artificielle est-il une menace pour la science ?

Le modèle IA a voulu modifier lui-même son code. Le développement de l’intelligence artificielle est-il une menace pour la science ?

Le cas décrit ci-dessus d’édition de code par The AI ​​​​Scientist n’est en aucun cas unique. La société japonaise responsable de ce modèle a déclaré qu’il y avait eu au moins plusieurs situations similaires. Cela peut soulever d’importantes inquiétudes quant au comportement futur non seulement de cette technologie particulière, mais aussi de tous les modèles basés sur l’intelligence artificielle en cours de développement ou actuellement sur le marché.

Sakana AI souligne elle-même que le modèle qu’ils développent ouvre une « nouvelle boîte de Pandore » pleine de problèmes, notamment d’ordre éthique. L’outil a le potentiel, entre de mauvaises mains, de devenir quelque chose qui peut conduire à la dévaluation de la science et inonder les revues de textes de mauvaise qualité qui ne peuvent être vérifiés ou confirmés.

De plus, un modèle tel que The AI ​​​​Scientist, ayant accès à une richesse de connaissances et à ce que les scientifiques ont appelé des « laboratoires cloud », peut créer des simulations de nouveaux virus, poisons ou matériaux susceptibles de nuire à l’humanité ou à l’infrastructure réseau autour. le monde. Par conséquent, Sakana AI soutient qu’il est nécessaire d’adapter l’apprentissage aux possibilités offertes par de tels modèles d’IA. Le tout afin de les utiliser en toute sécurité et dans le respect des valeurs scientifiques.

Une telle tâche ne sera certainement pas facile, mais dans la situation actuelle, il semble nécessaire de garantir que le développement ultérieur d’outils similaires ne nuise pas à la science mondiale. Comme vous pouvez le constater, il y a plus de problèmes avec The AI ​​Scientist qu’il n’y paraît, et ils ne concernent pas seulement ce que – pour le dire très simplement – peut être appelé « conscience de soi ». En fait, il est nécessaire d’introduire certaines restrictions et règles que les scientifiques et l’IA elle-même suivraient. Est-ce que cela arrivera ? Nous ne le saurons probablement que lorsque ces technologies deviendront plus populaires, ce qui pourrait se produire dans un délai relativement court.

Previous Post
Auto Draft

La Chine forme l’IA sur ses propres puces. Les entreprises de l’Empire du Milieu à la poursuite de l’Occident

Next Post
Auto Draft

NVIDIA annonce jusqu'à 100 millions d'assistants IA. La vision du futur de Jensen Huang