OpenAI - OpenAI
Coordonnées : 37.7623°N 122.4148°W 37°45′44″N 122°24′53″O /
 | |
| Industrie | Intelligence artificielle |
|---|---|
| Fondé | 11 décembre 2015 |
| Fondateurs |
|
| Quartier général | Pioneer Building, San Francisco , Californie, États-Unis |
Personnes clés |
|
| Des produits | DALL-E , GPT-3 , GPT-2 , OpenAI Gym |
Nombre d'employés |
>120 (à partir de 2020) |
| Site Internet | openai |
| ||
|---|---|---|
|
Entreprises
En rapport
|
||
OpenAI est un laboratoire de recherche en intelligence artificielle (IA) composé de la société à but lucratif OpenAI LP et de sa société mère , l'organisation à but non lucratif OpenAI Inc. La société, considérée comme un concurrent de DeepMind , mène des recherches dans le domaine de l'IA avec l'énoncé objectif de promouvoir et de développer une IA conviviale d'une manière qui profite à l'humanité dans son ensemble. L'organisation a été fondée à San Francisco fin 2015 par Elon Musk , Sam Altman et d'autres, qui ont collectivement promis 1 milliard de dollars. Musk a démissionné du conseil d'administration en février 2018, mais est resté un donateur. En 2019, OpenAI LP a reçu un investissement de 1 milliard de dollars US de Microsoft .
Histoire
_-1.jpg)
En octobre 2015, Elon Musk , Sam Altman et d'autres investisseurs ont annoncé la formation d'OpenAI et ont promis plus d' un milliard de dollars américains à l'entreprise. L'organisation a déclaré qu'elle "collaborerait librement" avec d'autres institutions et chercheurs en rendant ses brevets et ses recherches ouverts au public.
Le 27 avril 2016, OpenAI a publié une version bêta publique de "OpenAI Gym", sa plate-forme de recherche sur l' apprentissage par renforcement .
Le 5 décembre 2016, OpenAI a publié Universe, une plate-forme logicielle pour mesurer et former l'intelligence générale d'une IA à travers l'offre mondiale de jeux, de sites Web et d'autres applications.
Le 21 février 2018, Musk a démissionné de son siège au conseil d'administration, citant "un futur conflit (d'intérêts) potentiel" avec le développement de Tesla AI pour les voitures autonomes , mais est resté un donateur.
En 2019, OpenAI est passé d'un organisme à but non lucratif à un organisme à but lucratif. La société a distribué des capitaux propres à ses employés et s'est associée à Microsoft Corporation , qui a annoncé un investissement de 1 milliard de dollars US dans la société. OpenAI a ensuite annoncé son intention de concéder sous licence commerciale ses technologies, avec Microsoft comme partenaire privilégié.
Depuis 2020, OpenAI a son siège dans le Mission District de San Francisco et partage l'ancien bâtiment Pioneer Trunk Factory avec Neuralink , une autre société co-fondée par Musk.
En juin 2020, OpenAI a annoncé GPT-3 , un modèle de langage formé sur des milliards de mots provenant d'Internet. Il a également annoncé qu'une API associée , nommée simplement "l'API", constituerait le cœur de son premier produit commercial. GPT-3 vise à répondre aux questions en langage naturel, mais il peut également traduire entre les langues et générer de manière cohérente un texte improvisé.
Participants
- PDG : Sam Altman , ancien président de l'accélérateur de startups Y Combinator
- Ilya Sutskever , directeur de recherche, ancien expert de Google en apprentissage automatique
- CTO : Greg Brockman, ancien CTO, 3e employé de Stripe
Parmi les autres bailleurs de fonds du projet, citons :
- Reid Hoffman , co-fondateur de LinkedIn
- Peter Thiel , co-fondateur de PayPal
- Jessica Livingston , partenaire fondatrice de Y Combinator
Entreprises:
Le groupe a démarré début janvier 2016 avec neuf chercheurs. Selon Wired , Brockman a rencontré Yoshua Bengio , l'un des "pères fondateurs" du mouvement d' apprentissage en profondeur , et a dressé une liste des "meilleurs chercheurs dans le domaine". Peter Lee de Microsoft a déclaré que le coût d'un chercheur de haut niveau en IA dépasse le coût d'un espoir de quart-arrière de la NFL . Alors qu'OpenAI paie des salaires au niveau de l'entreprise (plutôt qu'au niveau des organisations à but non lucratif), il ne paie actuellement pas de salaires aux chercheurs en IA comparables à ceux de Facebook ou de Google. Néanmoins, Sutskever a déclaré qu'il était prêt à quitter Google pour OpenAI "en partie à cause du groupe de personnes très fort et, dans une très large mesure, à cause de sa mission". Brockman a déclaré que "la meilleure chose que je puisse imaginer faire était de rapprocher l'humanité de la construction d'une véritable IA de manière sûre". Le chercheur d'OpenAI, Wojciech Zaremba, a déclaré qu'il avait refusé les offres « à la limite folles » de deux à trois fois sa valeur marchande pour rejoindre OpenAI à la place.
Motifs
Certains scientifiques, tels que Stephen Hawking et Stuart Russell , ont exprimé leurs inquiétudes selon lesquelles si l'IA avancée obtenait un jour la capacité de se reconcevoir à un rythme toujours croissant, une " explosion de l'intelligence " imparable pourrait conduire à l'extinction humaine . Musk décrit l'IA comme la "plus grande menace existentielle de l'humanité". Les fondateurs d'OpenAI l'ont structuré comme une organisation à but non lucratif afin de pouvoir concentrer ses recherches sur la création d'un impact humain positif à long terme.
Musk et Altman ont déclaré qu'ils étaient motivés en partie par des préoccupations concernant le risque existentiel de l'intelligence artificielle générale . OpenAI déclare qu'« il est difficile d'imaginer à quel point l'IA au niveau humain pourrait profiter à la société » et qu'il est tout aussi difficile de comprendre « à quel point elle pourrait nuire à la société si elle était construite ou utilisée de manière incorrecte ». La recherche sur la sécurité ne peut pas être reportée en toute sécurité : « en raison de l'histoire surprenante de l'IA, il est difficile de prédire quand l'IA au niveau humain pourrait être à portée de main ». OpenAI déclare que l'IA "devrait être une extension des volontés humaines individuelles et, dans l'esprit de la liberté, aussi largement et également distribuée que possible ...", et ce sentiment a été exprimé ailleurs en référence à une classe potentiellement énorme d'IA- produits activés : « Sommes-nous vraiment disposés à laisser notre société être infiltrée par des agents logiciels et matériels autonomes dont les détails de fonctionnement ne sont connus que de quelques privilégiés ? Bien sûr que non. Le coprésident Sam Altman s'attend à ce que le projet de plusieurs décennies surpasse l'intelligence humaine.
Vishal Sikka , ancien PDG d' Infosys , a déclaré qu'une « ouverture » où l'effort « produirait des résultats généralement dans le plus grand intérêt de l'humanité » était une exigence fondamentale pour son soutien, et qu'OpenAI « s'aligne très bien avec nos valeurs de longue date. " et leur " s'efforcer de faire un travail déterminé ". Cade Metz de Wired suggère que des sociétés telles qu'Amazon peuvent être motivées par le désir d'utiliser des logiciels et des données open source pour égaliser les règles du jeu contre des sociétés telles que Google et Facebook qui possèdent d'énormes quantités de données propriétaires. Altman déclare que les sociétés Y Combinator partageront leurs données avec OpenAI.
En 2019, OpenAI est devenu une société à but lucratif appelée OpenAI LP pour obtenir un financement supplémentaire tout en restant contrôlé par une organisation à but non lucratif appelée OpenAI Inc dans une structure qu'OpenAI appelle « profit plafonné », ayant auparavant été un 501(c)(3) organisation à but non lucratif .
Stratégie
Musk a posé la question : « quelle est la meilleure chose que nous puissions faire pour nous assurer que l'avenir est bon ? Nous pourrions rester sur la touche ou nous pouvons encourager la surveillance réglementaire, ou nous pourrions participer avec la bonne structure avec des personnes qui se soucient profondément du développement de l'IA. d'une manière sûre et bénéfique pour l'humanité." Musk a reconnu qu'"il y a toujours un risque qu'en essayant réellement de faire progresser l'IA (amicale), nous puissions créer la chose qui nous préoccupe"; néanmoins, la meilleure défense est de "donner au plus grand nombre de personnes possible les moyens d'avoir l'IA. Si tout le monde a des pouvoirs d'IA, alors il n'y a pas une seule personne ou un petit groupe d'individus qui peuvent avoir un super pouvoir d'IA."
La stratégie contre-intuitive de Musk et Altman consistant à essayer de réduire le risque que l'IA cause des dommages globaux, en donnant l'IA à tout le monde, est controversée parmi ceux qui sont préoccupés par le risque existentiel de l'intelligence artificielle . Le philosophe Nick Bostrom est sceptique quant à l'approche de Musk : "Si vous avez un bouton qui pourrait faire de mauvaises choses au monde, vous ne voulez pas le donner à tout le monde." Lors d'une conversation en 2016 sur la singularité technologique, Altman a déclaré que « nous ne prévoyons pas de publier tout notre code source » et a mentionné un plan pour « permettre à de larges pans du monde d'élire des représentants à un nouveau conseil de gouvernance ». Greg Brockman a déclaré que "Notre objectif en ce moment... est de faire la meilleure chose à faire. C'est un peu vague."
À l'inverse, la décision initiale d'OpenAI de suspendre le GPT-2 en raison d'un souhait de « pécher par excès de prudence » en présence d'un potentiel abus, a été critiquée par les partisans de l'ouverture. Delip Rao, un expert en génération de texte, a déclaré : « Je ne pense pas que [OpenAI] ait passé assez de temps à prouver que [GPT-2] était réellement dangereux. D'autres critiques ont fait valoir que la publication ouverte est nécessaire pour reproduire la recherche et être en mesure de proposer des contre-mesures.
Au cours de l'année fiscale 2017, OpenAI a dépensé 7,9 millions de dollars, soit un quart de ses dépenses fonctionnelles, uniquement pour le cloud computing. En comparaison, les dépenses totales de DeepMind en 2017 étaient beaucoup plus importantes, mesurant 442 millions de dollars US. À l'été 2018, la simple formation des bots Dota 2 d' OpenAI nécessitait la location de 128 000 processeurs et 256 GPU auprès de Google pendant plusieurs semaines. Selon OpenAI, le modèle de profit plafonné adopté en mars 2019 permet à OpenAI LP d'attirer légalement des investissements de fonds de capital-risque, et en plus, d'accorder aux employés des participations dans l'entreprise, l'objectif étant qu'ils puissent dire « Je vais ouvrir AI, mais à long terme, cela ne sera pas désavantageux pour nous en tant que famille." De nombreux chercheurs de haut niveau travaillent pour Google Brain , DeepMind ou Facebook, Inc. , qui offrent des options d'achat d'actions qu'un organisme à but non lucratif ne serait pas en mesure de proposer. En juin 2019, OpenAI LP a levé un milliard de dollars auprès de Microsoft , une somme qu'OpenAI prévoit d'avoir dépensé "d'ici cinq ans, et peut-être beaucoup plus rapidement". Altman a déclaré que même un milliard de dollars pourrait s'avérer insuffisant et que le laboratoire pourrait finalement avoir besoin de "plus de capital que n'importe quel organisme à but non lucratif n'en a jamais levé" pour atteindre l'AGI.
La transition d'une entreprise à but non lucratif à une entreprise à but non lucratif a été considérée avec scepticisme par Oren Etzioni de l' Allen Institute for AI à but non lucratif , qui a convenu qu'il est difficile de courtiser les meilleurs chercheurs à une organisation à but non lucratif, mais a déclaré : « Je ne suis pas d'accord avec l'idée qu'une organisation à but non lucratif peut « pas en concurrence » et a souligné le succès des projets à petit budget d'OpenAI et d'autres. "Si plus gros et mieux financé était toujours mieux, alors IBM serait toujours le numéro un." Suite à la transition, la divulgation publique de la rémunération des meilleurs employés d'OpenAI LP n'est plus requise par la loi. L'association à but non lucratif OpenAI Inc. est l'unique actionnaire majoritaire d'OpenAI LP. OpenAI LP, bien qu'étant une société à but lucratif, conserve une responsabilité fiduciaire formelle envers la charte à but non lucratif d'OpenAI's Inc.. Il est interdit à la majorité du conseil d'administration d'OpenAI Inc. d'avoir des participations financières dans OpenAI LP. De plus, les membres minoritaires détenant une participation dans OpenAI LP sont exclus de certains votes en raison de conflits d'intérêts . Certains chercheurs ont fait valoir que le passage d'OpenAI LP au statut d'entreprise à but lucratif est incompatible avec les affirmations d'OpenAI selon lesquelles l'IA est « démocratisée ». Un journaliste de Vice News a écrit que « généralement, nous n'avons jamais pu compter sur les investisseurs en capital-risque pour améliorer l'humanité ».
Produits et applications
Les recherches d'OpenAI ont tendance à se concentrer sur l' apprentissage par renforcement . OpenAI est considéré comme un concurrent important de DeepMind.
Gym
Gym vise à fournir une référence d' intelligence générale facile à configurer avec une grande variété d'environnements différents - un peu semblable, mais plus large que, le défi de reconnaissance visuelle à grande échelle ImageNet utilisé dans la recherche sur l' apprentissage supervisé - et qui espère standardiser la façon dont dans lesquels les environnements sont définis dans les publications de recherche en IA, de sorte que les recherches publiées deviennent plus facilement reproductibles. Le projet prétend fournir à l'utilisateur une interface simple. Depuis juin 2017, Gym ne peut être utilisé qu'avec Python . En septembre 2017, le site de documentation Gym n'était pas maintenu et le travail actif s'est plutôt concentré sur sa page GitHub .
RoboSumo
Dans "RoboSumo", les robots humanoïdes virtuels " metalearning " manquent initialement de savoir comment marcher, et étant donné les objectifs d'apprendre à se déplacer et de pousser l'agent adverse hors du ring. Grâce à ce processus d'apprentissage contradictoire, les agents apprennent à s'adapter à des conditions changeantes ; lorsqu'un agent est ensuite retiré de cet environnement virtuel et placé dans un nouvel environnement virtuel avec des vents violents, l'agent se prépare à rester debout, suggérant qu'il avait appris à s'équilibrer de manière généralisée. Igor Mordatch d'OpenAI soutient que la concurrence entre les agents peut créer une « course aux armements » du renseignement qui peut augmenter la capacité d'un agent à fonctionner, même en dehors du contexte de la compétition.
Jeu de débat
En 2018, OpenAI a lancé le Debate Game, qui apprend aux machines à débattre des problèmes des jouets devant un juge humain. Le but est de rechercher si une telle approche peut aider à auditer les décisions d'IA et à développer une IA explicable .
Dactyle
Dactyl utilise l'apprentissage automatique pour former un robot Shadow Hand à partir de zéro, en utilisant le même code d'algorithme d'apprentissage par renforcement qu'OpenAI Five . La main du robot est entièrement entraînée à une simulation physiquement imprécise.
Modèles génératifs
Google Publisher Tag
L'article original sur la pré-formation générative (GPT) d'un modèle de langage a été écrit par Alec Radford et ses collègues, et publié en préimpression sur le site Web d'OpenAI le 11 juin 2018. Il montrait comment un modèle de langage génératif est capable d'acquérir des connaissances mondiales. et traitez les dépendances à long terme en vous pré-entraînant sur un corpus diversifié avec de longues portions de texte contigu.
GPT-2
Generative Pre-trained Transformer 2, communément connu sous sa forme abrégée GPT-2, est un modèle de langage de transformateur non supervisé et le successeur de GPT. GPT-2 a été annoncé pour la première fois en février 2019, avec seulement des versions démonstratives limitées initialement publiées au public. La version complète de GPT-2 n'a pas été publiée dans l'immédiat par crainte d'une utilisation abusive potentielle, y compris des applications pour écrire de fausses nouvelles . Certains experts ont exprimé leur scepticisme quant au fait que GPT-2 constitue une menace importante. L' Allen Institute for Artificial Intelligence a répondu au GPT-2 avec un outil pour détecter les « fake news neuronales ». D'autres chercheurs, tels que Jeremy Howard, ont mis en garde contre « la technologie permettant de remplir totalement Twitter, les e-mails et le Web avec une prose à consonance raisonnable et appropriée au contexte, qui couvrirait tous les autres discours et serait impossible à filtrer ». En novembre 2019, OpenAI a publié la version complète du modèle de langage GPT-2. Plusieurs sites Web hébergent des démonstrations interactives de différentes instances de GPT-2 et d'autres modèles de transformateurs.
Les auteurs de GPT-2 soutiennent que les modèles de langage non supervisés sont des apprenants à usage général, illustrés par GPT-2 atteignant une précision et une perplexité de pointe sur 7 des 8 tâches zéro (c'est-à-dire que le modèle n'a été formé sur aucune tâche. -exemples d'entrée-sortie spécifiques). Le corpus sur lequel il a été formé, appelé WebText, contient un peu plus de 8 millions de documents pour un total de 40 Go de texte à partir d'URL partagées dans les soumissions Reddit avec au moins 3 votes positifs. Il évite certains problèmes d'encodage du vocabulaire avec des jetons de mots en utilisant l' encodage de paires d'octets . Cela permet de représenter n'importe quelle chaîne de caractères en encodant à la fois des caractères individuels et des jetons à plusieurs caractères.
GPT-3
Generative Pre-trained Transformer 3, communément connu sous sa forme abrégée GPT-3 , est un modèle de langage Transformer non supervisé et le successeur de GPT-2 . Il a été décrit pour la première fois en mai 2020. OpenAI a déclaré que la version complète de GPT-3 contient 175 milliards de paramètres , deux ordres de grandeur supérieurs aux 1,5 milliard de paramètres de la version complète de GPT-2 (bien que les modèles GPT-3 avec aussi peu que 125 millions de paramètres ont également été entraînés).
OpenAI a déclaré que GPT-3 réussit certaines tâches de « méta-apprentissage ». Il peut généraliser le but d'une seule paire d'entrée-sortie . L'article donne un exemple de traduction et d'apprentissage translinguistique de transfert entre l'anglais et le roumain, et entre l'anglais et l'allemand.
GPT-3 a considérablement amélioré les résultats de référence par rapport à GPT-2. OpenAI a averti qu'une telle mise à l'échelle des modèles linguistiques pourrait s'approcher ou se heurter aux limitations de capacité fondamentales des modèles linguistiques prédictifs. La pré-formation GPT-3 a nécessité plusieurs milliers de pétaflops/s-jours de calcul, contre des dizaines de pétaflops/s-jours pour le modèle GPT-2 complet. Comme celui de son prédécesseur, le modèle entièrement formé de GPT-3 n'a pas été immédiatement rendu public en raison d'abus possibles, bien qu'OpenAI ait prévu d'autoriser l'accès via une API cloud payante après une bêta privée gratuite de deux mois qui a commencé en juin 2020 .
Le 23 septembre 2020, GPT-3 a été concédé sous licence exclusivement à Microsoft.
Musique
MuseNet (2019) d'OpenAI est un réseau neuronal profond formé pour prédire les notes musicales suivantes dans les fichiers de musique MIDI . Il peut générer des chansons avec dix instruments différents dans quinze styles différents. Selon The Verge , une chanson générée par MuseNet a tendance à démarrer raisonnablement, puis à sombrer dans le chaos plus elle est jouée.
Jukebox d'OpenAI (2020) est un algorithme open source pour générer de la musique avec des voix. Après s'être entraîné sur 1,2 million d'échantillons, le système accepte un genre, un artiste et un extrait de paroles, et génère des échantillons de chansons. OpenAI a déclaré que les chansons "montrent une cohérence musicale locale, suivent des schémas d'accords traditionnels" mais a reconnu que les chansons manquent de "structures musicales plus familières telles que des chœurs qui se répètent" et qu'"il y a un écart important" entre Jukebox et la musique générée par l'homme. The Verge a déclaré "C'est technologiquement impressionnant, même si les résultats ressemblent à des versions pâteuses de chansons qui peuvent sembler familières", tandis que Business Insider a déclaré "étonnamment, certaines des chansons résultantes sont accrocheuses et semblent légitimes".
API
En juin 2020, OpenAI a annoncé une API polyvalente qui, selon lui, était "pour accéder aux nouveaux modèles d'IA développés par OpenAI" pour permettre aux développeurs de l'appeler pour "toute tâche d'IA en anglais".
DALL-E et CLIP
DALL-E est un modèle Transformer qui crée des images à partir de descriptions textuelles, révélé par OpenAI en janvier 2021.
CLIP fait le contraire : il crée une description pour une image donnée. DALL-E utilise une version de 12 milliards de paramètres de GPT-3 pour interpréter les entrées en langage naturel (telles que "un sac à main en cuir vert en forme de pentagone" ou "une vue isométrique d'un triste capybara") et générer les images correspondantes. Il est capable de créer des images d'objets réalistes ("un vitrail avec une image de fraise bleue") ainsi que des objets qui n'existent pas dans la réalité ("un cube avec la texture d'un porc-épic"). Depuis mars 2021, aucune API ni aucun code n'est disponible.
En mars 2021, OpenAI a publié un article intitulé Neurones multimodaux dans les réseaux de neurones artificiels , dans lequel ils montraient une analyse détaillée des modèles CLIP (et GPT) et de leurs vulnérabilités. Le nouveau type d'attaques sur de tels modèles a été décrit dans ce travail.
Nous appelons ces attaques des attaques typographiques. Nous pensons que les attaques telles que celles décrites ci-dessus sont loin d'être une simple préoccupation académique. En exploitant la capacité du modèle à lire le texte de manière robuste, nous constatons que même les photographies de texte manuscrit peuvent souvent tromper le modèle.
— Neurones multimodaux dans les réseaux de neurones artificiels , OpenAI
Microscope
OpenAI Microscope est une collection de visualisations de chaque couche et neurone significatifs de huit modèles de réseaux neuronaux différents qui sont souvent étudiés en termes d'interprétabilité. Microscope a été créé pour une analyse facile des caractéristiques qui se forment à l'intérieur de ces réseaux de neurones. Les modèles inclus sont AlexNet , VGG 19, différentes versions d' Inception et différentes versions de CLIP Resnet .
Robots de jeux vidéo et benchmarks
OpenAI Cinq
OpenAI Five est le nom d'une équipe de cinq robots organisés par OpenAI qui sont utilisés dans le jeu vidéo compétitif à cinq contre cinq Dota 2 , qui apprennent à jouer contre des joueurs humains à un niveau de compétence élevé entièrement grâce à des algorithmes d'essais et d'erreurs. . Avant de devenir une équipe de cinq, la première démonstration publique a eu lieu à The International 2017 , le premier tournoi de championnat annuel du jeu, où Dendi , un joueur ukrainien professionnel, a perdu contre un bot dans un match 1v1 en direct . Après le match, le CTO Greg Brockman a expliqué que le bot avait appris en jouant contre lui-même pendant deux semaines en temps réel et que le logiciel d'apprentissage était un pas dans la direction de la création d'un logiciel capable de gérer des tâches complexes comme un chirurgien. Le système utilise une forme d' apprentissage par renforcement , car les bots apprennent au fil du temps en jouant contre eux-mêmes des centaines de fois par jour pendant des mois, et sont récompensés pour des actions telles que tuer un ennemi et prendre des objectifs sur la carte.
En juin 2018, la capacité des bots s'est élargie pour jouer ensemble en équipe complète de cinq personnes et ils ont pu vaincre des équipes de joueurs amateurs et semi-professionnels. À The International 2018 , OpenAI Five a disputé deux matchs d'exhibition contre des joueurs professionnels, mais a fini par perdre les deux matchs. En avril 2019, OpenAI Five a battu OG , les champions du monde en titre du jeu à l'époque, 2:0 lors d'un match d'exhibition en direct à San Francisco. La dernière apparition publique des bots a eu lieu plus tard dans le mois, où ils ont joué dans 42 729 jeux au total dans une compétition en ligne ouverte de quatre jours, remportant 99,4 % de ces jeux.
GYMNASE Rétro
Gym Retro est une plateforme de recherche d'apprentissage par renforcement sur les jeux. Gym Retro est utilisé pour mener des recherches sur les algorithmes RL et étudier la généralisation. Les recherches antérieures en RL se sont principalement concentrées sur l'optimisation des agents pour résoudre des tâches uniques. Gym Retro donne la possibilité de généraliser entre des jeux avec des concepts similaires mais des apparences différentes.
