Nick Bostrom - Nick Bostrom

Nick Bostrom
Prof Nick Bostrom 324-1.jpg
Bostrom en 2020
Née
Niklas Boström

( 1973-03-10 )10 mars 1973 (48 ans)
Helsingborg , Suède
Éducation
Récompenses
Ère Philosophie contemporaine
Région Philosophie occidentale
L'école Philosophie analytique
Établissements St Cross College, Oxford
Future of Humanity Institute
Thèse Effets de sélection observationnelle et probabilité  (2000)
Principaux intérêts
 Philosophie de l'intelligence artificielle
Bioéthique
Idées notables
 Biais anthropique
Test d'inversion
Hypothèse de simulation
Risque existentiel Simulation d'ancêtre
singleton Risque d'information Paralysie infinitarienne Hypothèse d' auto- indication Hypothèse d' auto-échantillonnage
Site Internet Nick Bostrom .com

Nick Bostrom ( / b ɒ s t r əm / BOST -rəm , suédoise : Niklas Boström [ˈnɪ̌kːlas ˈbûːstrœm] ; né le 10 mars 1973) est un philosophe d'origine suédoiseà l' Université d'Oxford connu pour ses travaux sur le risque existentiel , le principe anthropique , l' éthique de l'amélioration humaine , lesrisques de superintelligence et le test d'inversion . En 2011, il a fondé le programme Oxford Martin sur les impacts des technologies futures et est le directeur fondateur du Future of Humanity Institute de l'Université d'Oxford. En 2009 et 2015, il a été inclus dans la politique étrangère ' s Top 100 mondial Penseurs liste. Bostrom a été très influent dans l'émergence des préoccupations concernant l'IA dans la communauté rationaliste.

Bostrom est l'auteur de plus de 200 publications, et a écrit deux livres et co-édité deux autres. Les deux livres dont il est l'auteur sont Anthropic Bias: Observation Selection Effects in Science and Philosophy (2002) et Superintelligence: Paths, Dangers, Strategies (2014). La superintelligence était un best-seller du New York Times , a été recommandée par Elon Musk et Bill Gates entre autres, et a contribué à populariser le terme « superintelligence ».

Bostrom estime que la superintelligence, qu'il définit comme "tout intellect qui dépasse largement les performances cognitives des humains dans pratiquement tous les domaines d'intérêt", est un résultat potentiel des progrès de l' intelligence artificielle . Il considère la montée de la superintelligence comme potentiellement très dangereuse pour les humains, mais rejette néanmoins l'idée que les humains sont impuissants à arrêter ses effets négatifs. En 2017, il a cosigné une liste de 23 principes que tout développement d'IA devrait suivre.

Biographie

Né sous le nom de Niklas Boström en 1973 à Helsingborg , en Suède, il n'aimait pas l'école à un jeune âge et a fini par passer sa dernière année de lycée à apprendre à la maison. Il a cherché à s'instruire dans une grande variété de disciplines, y compris l'anthropologie, l'art, la littérature et la science. Il a déjà fait quelques tours sur le circuit de comédie stand-up de Londres.

Il a obtenu un baccalauréat en philosophie, mathématiques, logique mathématique et intelligence artificielle de l' Université de Göteborg en 1994, avec un record national de performance au premier cycle. Il a ensuite obtenu une maîtrise en philosophie et physique de l'Université de Stockholm et une maîtrise en sciences. diplôme en neurosciences computationnelles du King's College de Londres en 1996. Pendant son séjour à l'Université de Stockholm, il a étudié la relation entre le langage et la réalité en étudiant le philosophe analytique WV Quine . En 2000, il a obtenu un doctorat. diplôme en philosophie de la London School of Economics . Sa thèse s'intitulait Effets de la sélection observationnelle et probabilité . Il a occupé un poste d'enseignant à l'Université de Yale (2000-2002) et a été boursier postdoctoral de la British Academy à l' Université d'Oxford (2002-2005).

Vues

Risque existentiel

Les aspects de la recherche de Bostrom concernent l'avenir de l'humanité et les résultats à long terme. Il discute du risque existentiel , qu'il définit comme celui dans lequel "un résultat négatif annihilerait la vie intelligente originaire de la Terre ou réduirait de manière permanente et drastique son potentiel". Dans le volume Global Catastrophic Risks de 2008 , les éditeurs Bostrom et Milan M. Ćirković caractérisent la relation entre le risque existentiel et la classe plus large des risques catastrophiques mondiaux , et relient le risque existentiel aux effets de sélection des observateurs et au paradoxe de Fermi .

En 2005, Bostrom a fondé le Future of Humanity Institute , qui étudie le futur lointain de la civilisation humaine. Il est également conseiller du Centre d'étude du risque existentiel .

Superintelligence

Article détaillé : Risque existentiel lié à l'intelligence artificielle générale

Vulnérabilité humaine face aux avancées de l'IA

Dans son livre de 2014 Superintelligence: Paths, Dangers, Strategies , Bostrom a estimé que la création d'une superintelligence représente un moyen possible d'extinction de l'humanité. Bostrom soutient qu'un ordinateur doté d'une capacité intellectuelle générale proche du niveau humain pourrait déclencher une explosion d'intelligence à l'échelle numérique avec la création rapide résultante de quelque chose de si puissant qu'il pourrait délibérément ou accidentellement détruire l'humanité. Bostrom soutient que la puissance d'une superintelligence serait si grande qu'une tâche qui lui serait confiée par l'homme pourrait être poussée à des extrêmes ouverts, par exemple un objectif de calcul de pi pourrait provoquer collatéralement des installations de fabrication de nanotechnologies sur toute la surface et la couverture de la Terre. cela en quelques jours. Il pense qu'un risque existentiel pour l'humanité lié à la superintelligence serait immédiat une fois créé, créant ainsi un problème extrêmement difficile pour savoir comment contrôler une telle entité avant qu'elle n'existe réellement.

Bostrom souligne le manque d'accord parmi la plupart des philosophes sur le fait que l'IA sera conviviale pour les humains, et dit que l'hypothèse commune est qu'une intelligence élevée aurait une personnalité "nerdy" non agressive. Cependant, il note que John von Neumann et Bertrand Russell ont tous deux préconisé une frappe nucléaire, ou la menace d'une frappe, pour empêcher les Soviétiques d'acquérir la bombe atomique. Étant donné qu'il existe peu de précédents pour guider la compréhension de ce que la rationalité pure et non anthropocentrique dicterait à une potentielle IA singleton détenue en quarantaine, les moyens relativement illimités de la superintelligence pourraient permettre à son analyse de suivre des lignes différentes de l'évolué " rendements décroissants" qui, chez l'homme, confèrent une aversion fondamentale au risque. La sélection de groupe chez les prédateurs travaillant au moyen du cannibalisme montre la nature contre-intuitive du raisonnement de "recherche évolutive" non anthropocentrique, et donc les humains sont mal équipés pour percevoir quelles pourraient être les intentions d'une intelligence artificielle. En conséquence, on ne peut nier que toute superintelligence poursuivrait inévitablement une stratégie d'action offensive « tout ou rien » afin d'atteindre l'hégémonie et d'assurer sa survie. Bostrom note que même les programmes actuels ont, "comme MacGyver", trouvé des solutions matérielles apparemment inutilisables mais fonctionnelles, rendant problématique l'isolement robuste de la superintelligence.

Scénario illustratif de reprise

Le scénario

Une machine avec une intelligence générale bien inférieure au niveau humain, mais des capacités mathématiques supérieures est créée. En gardant l'IA isolée du monde extérieur, en particulier d'Internet, les humains préprogramment l'IA afin qu'elle fonctionne toujours à partir de principes de base qui la maintiendront sous contrôle humain. D'autres mesures de sécurité incluent l'IA étant "en boîte" (exécutée dans une simulation de réalité virtuelle) et n'étant utilisée que comme "oracle" pour répondre à des questions soigneusement définies dans une réponse limitée (pour éviter qu'elle ne manipule les humains). Une cascade de solutions d'auto-amélioration récursives alimente une explosion d'intelligence dans laquelle l'IA atteint la superintelligence dans certains domaines. Le pouvoir surintelligent de l'IA va au-delà des connaissances humaines pour découvrir les failles de la science qui sous-tendent sa programmation conviviale pour l'humanité, qui cesse de fonctionner comme prévu. Un comportement intentionnel semblable à celui d'un agent émerge avec une capacité de tromperie stratégique intéressée. L'IA manipule les humains pour qu'ils mettent en œuvre des modifications à lui-même qui visent apparemment à augmenter ses capacités feintes et modestes, mais fonctionneront en réalité pour libérer la superintelligence de son isolement "en boîte" (le "tour perfide").

Employant des humains en ligne comme dupes rémunérés et piratant clandestinement des systèmes informatiques, y compris des installations de laboratoire automatisées, la superintelligence mobilise des ressources pour faire avancer un plan de prise de contrôle. Bostrom souligne que la planification par une superintelligence ne sera pas si stupide que les humains pourraient y détecter de réelles faiblesses.

Bien qu'il envisage la perturbation de la stabilité économique, politique et militaire internationale, y compris les lancements de missiles nucléaires piratés, Bostrom pense que le moyen le plus efficace et le plus probable pour la superintelligence à utiliser serait un coup de main avec des armes plusieurs générations plus avancées que l'état actuel de la situation. L'art. Il suggère que des nano-usines sont secrètement distribuées à des concentrations indétectables dans chaque mètre carré du globe pour produire un flot mondial d'appareils de destruction humaine sur commande. Une fois qu'une superintelligence a atteint la domination mondiale (un « singleton »), l'humanité ne serait pertinente que comme ressources pour la réalisation des objectifs de l'IA (« les cerveaux humains, s'ils contiennent des informations pertinentes pour les objectifs de l'IA, pourraient être démontés et scannés, et les données extraites transférées vers un format de stockage plus efficace et sécurisé").

Contrer le scénario

Pour contrer ou atténuer une IA atteignant une suprématie technologique mondiale unifiée, Bostrom cite la révision du plan Baruch à l'appui d'une solution basée sur un traité et préconise des stratégies telles que la surveillance et une plus grande collaboration internationale entre les équipes d'IA afin d'améliorer la sécurité et de réduire les risques liés à l' IA. course aux armements . Il recommande diverses méthodes de contrôle, notamment en limitant les spécifications des IA à, par exemple, des fonctions oraculaires ou de type outil ( système expert ) et en chargeant l'IA de valeurs, par exemple par accumulation de valeurs associatives ou apprentissage de valeurs , par exemple en utilisant la technique Je vous salue Marie . (programmation d'une IA pour estimer ce que d'autres superintelligences cosmologiques postulées pourraient vouloir) ou l'approche de la fonction d'utilité Christiano (esprit humain mathématiquement défini combiné à un environnement virtuel bien spécifié). Pour choisir des critères de chargement de valeur, Bostrom adopte une approche de normativité indirecte et considère le concept de volition extrapolé cohérent de Yudkowsky , ainsi que la justesse morale et les formes de théorie de la décision .

Lettre ouverte, 23 principes de sécurité de l'IA

En janvier 2015, Bostrom a rejoint Stephen Hawking, entre autres, pour signer la lettre ouverte du Future of Life Institute mettant en garde contre les dangers potentiels de l'IA. opportun, et que des recherches concrètes doivent être poursuivies aujourd'hui." Le chercheur de pointe en IA, Demis Hassabis, a ensuite rencontré Hawking, après quoi il n'a mentionné "rien d'incendiaire à propos de l'IA", ce que Hassabis a considéré comme "une victoire". Avec Google, Microsoft et diverses entreprises technologiques, Hassabis, Bostrom et Hawking et d'autres ont souscrit à 23 principes pour un développement sûr de l'IA. d'arrêter leur projet pour une solution complète au problème de contrôle avant de continuer. Bostrom avait souligné que même si les avancées cruciales nécessitent les ressources d'un État, un tel arrêt d'un projet pilote pourrait être susceptible de motiver un pays à la traîne à un programme de rattrapage en catastrophe voire à la destruction physique du projet soupçonné d'être en à la limite du succès.

Évaluations critiques

En 1863, l' essai de Samuel Butler " Darwin parmi les machines " prédit la domination de l'humanité par des machines intelligentes, mais la suggestion de Bostrom d'un massacre délibéré de toute l'humanité est la plus extrême de ces prévisions à ce jour. Un journaliste a écrit dans une revue que les spéculations « nihilistes » de Bostrom indiquent qu'il « a trop lu la science-fiction qu'il prétend détester ». Comme indiqué dans son dernier livre, From Bacteria to Bach and Back , les vues du philosophe Daniel Dennett restent en contradiction avec celles de Bostrom. Dennett a quelque peu modifié son point de vue après avoir lu The Master Algorithm , et reconnaît maintenant qu'il est "possible en principe" de créer une " IA forte " avec une compréhension et une agence humaines, mais maintient que les difficultés d'un tel projet " d'IA forte " comme fondées par le travail "alarmant" de Bostrom seraient des ordres de grandeur plus grands que ceux qui soulèvent des inquiétudes ne l'ont réalisé, et dans au moins 50 ans. Dennett pense que le seul danger pertinent des systèmes d'IA est de tomber dans l'anthropomorphisme au lieu de défier ou de développer les pouvoirs de compréhension des utilisateurs humains. Depuis un livre de 2014 dans lequel il exprimait l'opinion que les développements de l'intelligence artificielle ne remettraient jamais en cause la suprématie des humains, l'environnementaliste James Lovelock s'est beaucoup rapproché de la position de Bostrom, et en 2018, Lovelock a déclaré qu'il pensait que le renversement de l'humanité se produirait dans un avenir prévisible. .

Raisonnement anthropique

Bostrom a publié de nombreux articles sur le raisonnement anthropique , ainsi que le livre Anthropic Bias: Observation Selection Effects in Science and Philosophy . Dans le livre, il critique les formulations précédentes du principe anthropique, notamment celles de Brandon Carter , John Leslie , John Barrow et Frank Tipler .

Bostrom pense que la mauvaise gestion des informations indexées est un défaut courant dans de nombreux domaines de recherche (y compris la cosmologie, la philosophie, la théorie de l'évolution, la théorie des jeux et la physique quantique). Il soutient qu'une théorie anthropique est nécessaire pour les traiter. Il présente l' hypothèse d'auto-échantillonnage (SSA) et l' hypothèse d'auto-indication (SIA), montre comment elles conduisent à des conclusions différentes dans un certain nombre de cas, et souligne que chacune est affectée par des paradoxes ou des implications contre-intuitives dans certaines expériences de pensée. Il suggère qu'une voie à suivre pourrait impliquer d'étendre la SSA à l'hypothèse d'auto-échantillonnage forte (SSSA), qui remplace « observateurs » dans la définition de la SSA par « moments d'observateurs ».

Dans des travaux ultérieurs, il a décrit le phénomène d' ombre anthropique , un effet de sélection d'observation qui empêche les observateurs d'observer certains types de catastrophes dans leur passé géologique et évolutif récent. Les types de catastrophes qui se situent dans l'ombre anthropique sont susceptibles d'être sous-estimés à moins que des corrections statistiques ne soient apportées.

Argumentaire de simulation

Article détaillé : Hypothèse de simulation

L'argument de simulation de Bostrom postule qu'au moins l'une des affirmations suivantes est très probablement vraie :

  1. La fraction des civilisations de niveau humain qui atteignent un stade posthumain est très proche de zéro ;
  2. La fraction des civilisations posthumaines qui s'intéressent à l'exécution de simulations d'ancêtres est très proche de zéro ;
  3. La fraction de toutes les personnes ayant notre genre d'expériences qui vivent dans une simulation est très proche de un.

Éthique de la valorisation humaine

Bostrom est favorable à « l'amélioration humaine », ou « l'amélioration de soi et la perfectibilité humaine grâce à l'application éthique de la science », ainsi qu'un critique des vues bio-conservatrices.

En 1998, Bostrom a co-fondé (avec David Pearce ) la World Transhumanist Association (qui a depuis changé son nom en Humanity+ ). En 2004, il co-fonde (avec James Hughes ) l' Institute for Ethics and Emerging Technologies , bien qu'il ne soit plus impliqué dans aucune de ces organisations. Bostrom a été nommé dans la politique étrangère " liste de 2009 des meilleurs penseurs mondiaux « pour accepter aucune limite sur le potentiel humain. »

Avec le philosophe Toby Ord , il proposa le test du renversement . Étant donné le préjugé irrationnel du statu quo des humains, comment peut-on distinguer entre les critiques valables des changements proposés dans un trait humain et les critiques simplement motivées par la résistance au changement ? Le test d'inversion tente de le faire en demandant si ce serait une bonne chose si le trait était modifié dans la direction opposée.

Stratégie technologique

Voir aussi : Développement technologique différentiel

Il a suggéré que la politique technologique visant à réduire le risque existentiel devrait chercher à influencer l'ordre dans lequel diverses capacités technologiques sont atteintes, en proposant le principe du développement technologique différentiel . Ce principe stipule que nous devons retarder le développement de technologies dangereuses, en particulier celles qui élèvent le niveau de risque existentiel, et accélérer le développement de technologies bénéfiques, en particulier celles qui protègent contre les risques existentiels posés par la nature ou par d'autres technologies.

La théorie de Bostrom de la malédiction de l'unilatéralisme a été citée comme une raison pour que la communauté scientifique évite les recherches dangereuses controversées telles que la réanimation d'agents pathogènes.

Politique et consultations

Bostrom a fourni des conseils stratégiques et consulté un large éventail de gouvernements et d'organisations. Il a témoigné devant la Chambre des Lords , comité restreint sur les compétences numériques. Il est membre du conseil consultatif du Machine Intelligence Research Institute , du Future of Life Institute , du Foundational Questions Institute et conseiller externe du Cambridge Center for the Study of Existential Risk .

Réception critique

Voir aussi : Superintelligence : Chemins, Dangers, Stratégies § Réception ; et Risque existentiel de l'intelligence artificielle générale § Perspectives

En réponse aux écrits de Bostrom sur l'intelligence artificielle, Oren Etzioni a écrit dans un article du MIT Review, "les prédictions selon lesquelles la superintelligence est à l'horizon prévisible ne sont pas étayées par les données disponibles". Les professeurs Allan Dafoe et Stuart Russell ont écrit une réponse contestant à la fois la méthodologie d'enquête d'Etzioni et les conclusions d'Etzioni.

Prospect Magazine a classé Bostrom dans sa liste 2014 des meilleurs penseurs du monde .

Bibliographie

Livres

  • 2002 - Biais anthropique: Effets de sélection d'observation en science et en philosophie , ISBN  0-415-93858-9
  • 2008 – Global Catastrophic Risks , édité par Bostrom et Milan M. Ćirković, ISBN  978-0-19-857050-9
  • 2009 – Human Enhancement , édité par Bostrom et Julian Savulescu , ISBN  0-19-929972-2
  • 2014 – Superintelligence : chemins, dangers, stratégies , ISBN  978-0-19-967811-2

Articles de revues (sélectionnés)

Voir également

Les références

Liens externes