Geoffrey Hinton - Geoffrey Hinton

Geoffrey Hinton

Geoffrey Hinton à UBC.jpg
Hinton en 2013
Geoffrey Everest Hinton

( 1947-12-06 )6 décembre 1947 (73 ans)
mère nourricière
Connu pour
Récompenses
Carrière scientifique
Des champs
Établissements Université de Toronto
Google
Carnegie Mellon University
University College London
University of California, San Diego
Thèse La relaxation et son rôle dans la vision  (1977)
Conseiller de doctorat Christophe Longuet Higgins
Doctorants
D'autres étudiants notables
Site Internet www .cs .toronto .edu /~hinton /

Geoffrey Everest Hinton CC FRS MSRC (né le 6 Décembre 1947) est un Britannique - Canada psychologue cognitif et scientifique informatique , plus connu pour son travail sur les réseaux de neurones artificiels . Depuis 2013, il partage son temps de travail pour Google ( Google Brain ) et l' Université de Toronto . En 2017, il a cofondé et est devenu le conseiller scientifique en chef du Vector Institute à Toronto.

Avec David Rumelhart et Ronald J. Williams , Hinton a été co-auteur d'un article très cité publié en 1986 qui a popularisé l' algorithme de rétropropagation pour l'entraînement des réseaux de neurones multicouches, bien qu'ils n'aient pas été les premiers à proposer cette approche. Hinton est considéré comme une figure de proue de la communauté de l' apprentissage en profondeur . L'étape spectaculaire de reconnaissance d'image d' AlexNet conçue en collaboration avec ses étudiants Alex Krizhevsky et Ilya Sutskever pour le défi ImageNet 2012 a été une percée dans le domaine de la vision par ordinateur.

Hinton a reçu le Turing Award 2018 , avec Yoshua Bengio et Yann LeCun , pour leurs travaux sur l'apprentissage en profondeur. Ils sont parfois appelés les « parrains de l'IA » et les « parrains de l'apprentissage en profondeur », et ont continué à donner des conférences publiques ensemble.

Éducation

Hinton a fait ses études au King's College de Cambridge et a obtenu en 1970 un baccalauréat ès arts en psychologie expérimentale. Il a poursuivi ses études à l' Université d'Édimbourg où il a obtenu un doctorat. en intelligence artificielle en 1978 pour des recherches dirigées par Christopher Longuet-Higgins .

Carrière et recherche

Après son doctorat. il a travaillé à l' Université du Sussex et (après avoir eu des difficultés à trouver des financements en Grande-Bretagne) à l' Université de Californie, à San Diego et à l'Université Carnegie Mellon . Il a été le directeur fondateur de la Gatsby Charitable Foundation Computational Neuroscience Unit à l' University College London et est actuellement professeur au département d' informatique de l' Université de Toronto . Il est titulaire d'une Chaire de recherche du Canada en apprentissage automatique et est actuellement conseiller pour le programme Learning in Machines & Brains à l' Institut canadien de recherches avancées . Hinton a enseigné un cours en ligne gratuit sur les réseaux de neurones sur la plate-forme éducative Coursera en 2012. Hinton a rejoint Google en mars 2013 lors de l'acquisition de sa société, DNNresearch Inc.. Il envisage de « partager son temps entre ses recherches universitaires et son travail chez Google ».

Les recherches de Hinton étudient les façons d'utiliser les réseaux de neurones pour l'apprentissage automatique , la mémoire , la perception et le traitement des symboles. Il est auteur ou co-auteur de plus de 200 publications évaluées par des pairs .

Alors que Hinton était professeur à l'Université Carnegie Mellon (1982-1987), David E. Rumelhart et Hinton et Ronald J. Williams ont appliqué l' algorithme de rétropropagation aux réseaux de neurones multicouches. Leurs expériences ont montré que de tels réseaux peuvent apprendre des représentations internes utiles des données. Dans une interview de 2018, Hinton a déclaré que " David E. Rumelhart a proposé l'idée de base de la rétropropagation, c'est donc son invention. " Bien que ce travail ait été important pour vulgariser la rétropropagation, ce n'était pas le premier à suggérer l'approche. La différenciation automatique en mode inverse , dont la rétropropagation est un cas particulier, a été proposée par Seppo Linnainmaa en 1970, et Paul Werbos a proposé de l'utiliser pour entraîner des réseaux de neurones en 1974.

Au cours de la même période, Hinton co-invente les machines Boltzmann avec David Ackley et Terry Sejnowski . Ses autres contributions à la recherche sur les réseaux de neurones comprennent les représentations distribuées , les réseaux de neurones à retard temporel , les mélanges d'experts, les machines de Helmholtz et le produit d'experts . En 2007, Hinton a co- écrit un article d' apprentissage non supervisé intitulé Unsupervised learning of image transformations . Une introduction accessible à la recherche de Geoffrey Hinton peut être trouvée dans ses articles dans Scientific American en septembre 1992 et octobre 1993.

En octobre et novembre 2017, respectivement, Hinton a publié deux articles de recherche en libre accès sur le thème des réseaux de neurones à capsule , qui selon Hinton sont "enfin quelque chose qui fonctionne bien".

Parmi les anciens doctorants et chercheurs postdoctoraux notables de son groupe figurent Peter Dayan , Sam Roweis, Richard Zemel , Brendan Frey , Radford M. Neal , Ruslan Salakhutdinov , Ilya Sutskever , Yann LeCun et Zoubin Ghahramani .

Honneurs et récompenses

De gauche à droite Russ Salakhutdinov , Richard S. Sutton , Geoffrey Hinton, Yoshua Bengio et Steve Jurvetson en 2016

Hinton a été élu membre de la Royal Society (FRS) en 1998 . Il a été le premier lauréat du prix Rumelhart en 2001. Son certificat d'élection pour la Royal Society se lit comme suit :

Geoffrey E. Hinton est reconnu internationalement pour son travail sur les réseaux neuronaux artificiels, en particulier la façon dont ils peuvent être conçus pour apprendre sans l'aide d'un enseignant humain. Cela pourrait bien être le début de machines intelligentes autonomes ressemblant à un cerveau. Il a comparé les effets des lésions cérébrales avec les effets des pertes dans un tel filet et a trouvé des similitudes frappantes avec les déficiences humaines, telles que la reconnaissance des noms et les pertes de catégorisation. Son travail comprend des études d'imagerie mentale et l'invention de puzzles pour tester l'originalité et l'intelligence créative. Il est conceptuel, mathématiquement sophistiqué et expérimental. Il réunit ces compétences avec un effet saisissant pour produire un travail important d'un grand intérêt.

En 2001, Hinton a reçu un doctorat honorifique de l' Université d'Édimbourg . Il a reçu en 2005 le prix IJCAI pour l'excellence en recherche pour l'ensemble de ses réalisations. Il a également reçu la Médaille d'or Herzberg Canada 2011 pour la science et l'ingénierie . En 2013, Hinton a reçu un doctorat honorifique de l' Université de Sherbrooke .

En 2016, il a été élu membre étranger de la National Academy of Engineering « Pour ses contributions à la théorie et à la pratique des réseaux de neurones artificiels et leur application à la reconnaissance vocale et à la vision par ordinateur ». Il a également reçu le prix IEEE/RSE Wolfson James Clerk Maxwell Award 2016 .

Il a remporté le BBVA Foundation Frontiers of Knowledge Award (2016) dans la catégorie Technologies de l'information et de la communication "pour son travail pionnier et très influent" visant à doter les machines de la capacité d'apprendre.

Avec Yann LeCun et Yoshua Bengio , Hinton a remporté le prix Turing 2018 pour les avancées conceptuelles et techniques qui ont fait des réseaux de neurones profonds un élément essentiel de l'informatique.

En 2018, il a reçu le titre de Compagnon de l' Ordre du Canada .

Vie privée

Hinton est l'arrière-arrière-petit-fils à la fois du logicien George Boole , dont les travaux sont finalement devenus l'un des fondements de l'informatique moderne, et du chirurgien et auteur James Hinton . qui était le père de Charles Howard Hinton . Le père de Hinton était Howard Hinton . Son deuxième prénom vient d'un autre parent, George Everest . Il est le neveu de l'économiste Colin Clark . Il a perdu sa première femme d'un cancer de l'ovaire en 1994.

Vues

Hinton a quitté les États-Unis pour le Canada en partie à cause de la désillusion face à la politique de l'ère Ronald Reagan et de la désapprobation du financement militaire de l'intelligence artificielle.

Hinton a déposé une pétition contre les armes autonomes mortelles . En ce qui concerne le risque existentiel lié à l'intelligence artificielle , Hinton refuse généralement de faire des prédictions dans plus de cinq ans, notant que les progrès exponentiels rendent l'incertitude trop grande. Cependant, lors d'une conversation informelle avec Nick Bostrom, chercheur sur les risques en IA en novembre 2015, entendu par le journaliste Raffi Khatchadourian, il aurait déclaré qu'il ne s'attendait pas à ce que l'IA générale soit atteinte avant des décennies ("au plus tôt en 2070"), et que, dans le contexte d'une dichotomie précédemment introduite par Bostrom entre les personnes qui pensent que la gestion du risque existentiel à partir de l'intelligence artificielle est probablement sans espoir contre suffisamment facile pour qu'elle soit résolue automatiquement, Hinton "[est] dans le camp qui est sans espoir". Il a déclaré : « Je pense que les systèmes politiques l'utiliseront pour terroriser les gens » et a exprimé sa conviction que des agences comme la National Security Agency tentent déjà d'abuser d'une technologie similaire.

Interrogé par Nick Bostrom sur les raisons pour lesquelles il poursuit ses recherches malgré ses graves inquiétudes, Hinton a déclaré: "Je pourrais vous donner les arguments habituels. Mais la vérité est que la perspective d'une découverte est trop douce ."

Selon le même rapport, Hinton n'exclut pas catégoriquement que des êtres humains contrôlent une superintelligence artificielle, mais avertit qu'"il n'y a pas de bons antécédents de choses moins intelligentes contrôlant des choses de plus grande intelligence".

Les références