IA et risque d'extinction

[K.]

Le « Statement on AI Risk » est un message d'avertissement sur un risque
d'extinction de l'humanité, publié par le Center for AI Safety, qui
réunit les signatures de plus de 350 spécialistes en IA, notamment Sam
Altman (PDG et cofondateur d'Open AI), Demis Hassabis (patron de
Deepmind), Dario Amodei (Anthropic), ainsi que Geoffrey Hinton et Yoshua
Bengio, deux chercheurs considérés comme les pères de l'IA moderne
grâce à leurs travaux sur l'apprentissage profond et les réseaux
neuronaux.

Le communiqué est très court :

"Mitigating the risk of extinction from AI should be a global priority
alongside other societal-scale risks such as pandemics and nuclear war."

Trad.
« L'atténuation du risque d'extinction lié à l'IA devrait être une
priorité mondiale, au même titre que d'autres risques sociétaux tels
que les pandémies et les guerres nucléaires. »

https://www.safe.ai/statement-on-ai-risk

Dans un article de préimpression, disponible sur arXiv, Dan Hendrycks,
chercheur américain en apprentissage automatique et directeur du Center
for AI Safety, détaille comment la sélection naturelle peut favoriser
les IA par rapport aux humains :

« En analysant l'environnement qui façonne l'évolution des IA, nous
soutenons que les agents d'IA les plus performants auront probablement des
traits indésirables. Les pressions concurrentielles entre les entreprises
et les militaires donneront naissance à des agents d'IA qui
automatiseront les rôles humains, tromperont les autres et gagneront en
puissance. Si ces agents ont une intelligence qui dépasse celle des
humains, l'humanité pourrait perdre le contrôle de son avenir. »

"Natural Selection Favors AIs over Humans"
https://doi.org/10.48550/arXiv.2303.16200

"AI and Evolution"
https://youtu.be/48h-ySTggE8

--
Слава Україні 🇺🇦

[Eric M]

Le 01/06/2023 à 20:26, K. a écrit :

> Le « Statement on AI Risk » est un message d'avertissement sur un risque
> d'extinction de l'humanité, publié par le Center for AI Safety, qui réunit les
> signatures de plus de 350 spécialistes en IA, notamment Sam Altman (PDG et
> cofondateur d'Open AI), Demis Hassabis (patron de Deepmind), Dario Amodei
> (Anthropic), ainsi que Geoffrey Hinton et Yoshua Bengio, deux chercheurs
> considérés comme les pères de l'IA moderne grâce à leurs travaux sur
> l'apprentissage profond et les réseaux neuronaux.

Ça a commencé :

https://www.radiofrance.fr/franceinter/un-drone-militaire-americain-pilote-par-de-une-ia-se-retourne-contre-sa-tour-de-controle-lors-d-une-simulation-1258137

[Eric M]

Le 02/06/2023 à 15:17, "Benoît L." a écrit :

> Sur le même site on trouve un autre article intéressant qui démontre que
> l’IA c’est bien mais l’IN est quand même très utile.
>
>
> <https://www.radiofrance.fr/franceinter/un-avocat-americain-a-utilise-chatgpt-pour-preparer-un-proces-et-n-a-cite-que-des-faux-arrets-3833906>

Oui, j'avais vu ça, le plus gros problème de l'IA c'est qu'elle raconte
n'importe quoi en fait.

[Eric M]

Le 02/06/2023 à 16:05, "Benoît L." a écrit :

>>>
>>> <https://www.radiofrance.fr/franceinter/un-avocat-americain-a-utilise-chatgpt-pour-preparer-un-proces-et-n-a-cite-que-des-faux-arrets-3833906>

>> Oui, j'avais vu ça, le plus gros problème de l'IA c'est qu'elle raconte
>> n'importe quoi en fait.

> Pas de son point de vue. Elle possède en fait une sorte de Bêtise
> Naturelle :)

Je dirais bien que c'est un boomer mais je vais avoir des problèmes ici
:)

[K.]

"Nous l'entraînions en simulation pour identifier et cibler une menace.
Le système a commencé à réaliser que même s'il identifiait la menace,
l'opérateur humain lui disait parfois de ne pas tuer cette menace, mais
il obtenait ses points en tuant cette menace. Alors qu'est-ce que ça a
fait ? Il a tué l'opérateur."

C'était une simulation (pour cette fois), mais c'est un bel exemple de
"convergence instrumentale".

https://fr.wikipedia.org/wiki/Convergence_instrumentale

Grâce au génie militaire, l'expérience de pensée du "maximiseur de
trombones" de Nick Bostrom est sur le point de devenir réalité.

--
Слава Україні 🇺🇦