Intelligence artificielle explicable - Explainable artificial intelligence

L'IA explicable ( XAI ) est l' intelligence artificielle (IA) dans laquelle les résultats de la solution peuvent être compris par les humains. Cela contraste avec le concept de « boîte noire » en apprentissage automatique où même ses concepteurs ne peuvent pas expliquer pourquoi une IA est arrivée à une décision spécifique. XAI peut être une mise en œuvre du droit social à l'explication . XAI est pertinent même s'il n'y a pas de droit légal ou d'exigence réglementaire. Par exemple, XAI peut améliorer l' expérience utilisateur d'un produit ou d'un service en aidant les utilisateurs finaux à croire que l'IA prend les bonnes décisions. De cette façon, le but de XAI est d'expliquer ce qui a été fait, ce qui est fait en ce moment, ce qui sera fait ensuite et de dévoiler les informations sur lesquelles les actions sont basées. Ces caractéristiques permettent (i) de confirmer les connaissances existantes (ii) de remettre en cause les connaissances existantes et (iii) de générer de nouvelles hypothèses.

Les algorithmes utilisés dans l'IA peuvent être différenciés en algorithmes d'apprentissage automatique (ML) en boîte blanche et en boîte noire. Les modèles boîte blanche sont des modèles de ML qui fournissent des résultats compréhensibles pour les experts du domaine. Les modèles de boîte noire, en revanche, sont extrêmement difficiles à expliquer et peuvent difficilement être compris même par des experts du domaine. Les algorithmes XAI sont considérés comme respectant les trois principes de transparence, d'interprétabilité et d'explicabilité. La transparence est donnée « si les processus qui extraient les paramètres du modèle à partir des données d'apprentissage et génèrent des étiquettes à partir des données de test peuvent être décrits et motivés par le concepteur de l'approche ». L'interprétabilité décrit la possibilité de comprendre le modèle ML et de présenter la base sous-jacente de la prise de décision d'une manière compréhensible pour les humains. L'explicabilité est un concept reconnu comme important, mais une définition commune n'est pas encore disponible. Il est suggéré que l'explicabilité en ML peut être considérée comme « l'ensemble des caractéristiques du domaine interprétable, qui ont contribué pour un exemple donné à produire une décision (par exemple, classification ou régression) ». Si les algorithmes répondent à ces exigences, ils fournissent une base pour justifier les décisions, les suivre et ainsi les vérifier, améliorer les algorithmes et explorer de nouveaux faits.

Parfois, il est également possible d'obtenir un résultat avec une grande précision avec un algorithme ML en boîte blanche qui est interprétable en lui-même. Ceci est particulièrement important dans des domaines comme la médecine, la défense, la finance et le droit où il est crucial de comprendre les décisions et de renforcer la confiance dans les algorithmes.

Les systèmes d'IA optimisent le comportement pour satisfaire un système d'objectifs spécifié mathématiquement choisi par les concepteurs du système, comme la commande « maximiser la précision de l' évaluation de la qualité des critiques de films dans l'ensemble de données de test ». L'IA peut apprendre des règles générales utiles à partir de l'ensemble de tests, telles que "les critiques contenant le mot 'horrible' sont susceptibles d'être négatives". Cependant, il peut également apprendre des règles inappropriées, telles que « les avis contenant « Daniel Day-Lewis » sont généralement positifs » ; de telles règles peuvent être indésirables si elles sont jugées susceptibles de ne pas se généraliser en dehors de l'ensemble de test, ou si les gens considèrent que la règle est « trompeuse » ou « injuste ». Un humain peut auditer les règles dans un XAI pour avoir une idée de la probabilité que le système se généralise aux futures données du monde réel en dehors de l'ensemble de test. Ceci est particulièrement important pour les outils d'IA développés pour les applications médicales, car le coût des prédictions incorrectes est généralement élevé. XAI pourrait augmenter la robustesse des algorithmes et renforcer la confiance des médecins.

Buts

La coopération entre les agents , en l'occurrence les algorithmes et les humains, dépend de la confiance. Si les humains doivent accepter les prescriptions algorithmiques, ils doivent leur faire confiance. L'incomplétude dans la formalisation des critères de confiance est un obstacle aux approches d'optimisation simples. Pour cette raison, l'interprétabilité et l'explicabilité sont posées comme des objectifs intermédiaires pour vérifier d'autres critères.

Les systèmes d'IA apprennent parfois des astuces indésirables qui font un travail optimal pour satisfaire des objectifs préprogrammés explicites sur les données d'entraînement, mais qui ne reflètent pas les désirs implicites compliqués des concepteurs de systèmes humains. Par exemple, un système de 2017 chargé de la reconnaissance d'images a appris à "tricher" en recherchant une étiquette de droit d'auteur associée à des images de chevaux, plutôt que d'apprendre à savoir si un cheval était réellement photographié. Dans un autre système de 2017, une IA à apprentissage supervisé chargée de saisir des objets dans un monde virtuel a appris à tricher en plaçant son manipulateur entre l'objet et le spectateur de manière à ce qu'il semble faussement saisir l'objet.

Un projet de transparence, le programme DARPA XAI, vise à produire des modèles de « boîte de verre » qui soient explicables à un « humain dans la boucle », sans trop sacrifier les performances de l'IA. Les utilisateurs humains devraient être capables de comprendre la cognition de l'IA (à la fois en temps réel et après coup), et devraient être capables de déterminer quand faire confiance à l'IA et quand il faut s'en méfier. D'autres applications de XAI sont l' extraction de connaissances à partir de modèles de boîte noire et les comparaisons de modèles. Le terme « boîte de verre » a également été utilisé pour des systèmes qui surveillent les entrées et les sorties d'un système, dans le but de vérifier l'adhésion du système aux valeurs éthiques et socio-légales et, par conséquent, de produire des explications basées sur les valeurs. De plus, le même terme a été utilisé pour désigner un assistant vocal qui produit des déclarations contrefactuelles comme explications.

Histoire et méthodes

Au cours des années 1970 à 1990, des systèmes de raisonnement symbolique, tels que MYCIN , GUIDON, SOPHIE et PROTOS ont été explorés qui pourraient représenter, raisonner et expliquer leur raisonnement à des fins de diagnostic, d'enseignement ou d'apprentissage automatique (apprentissage basé sur des explications). MYCIN, développé au début des années 1970 en tant que prototype de recherche pour le diagnostic des infections bactériennes de la circulation sanguine, pourrait expliquer laquelle de ses règles codées à la main a contribué à un diagnostic dans un cas spécifique. La recherche sur les systèmes de tutorat intelligents a développé des systèmes tels que SOPHIE qui pourraient agir comme un «expert articulé», expliquant la stratégie de résolution de problèmes à un niveau que l'étudiant pourrait comprendre, afin qu'ils sachent quelle action entreprendre ensuite. Par exemple, SOPHIE a pu expliquer le raisonnement qualitatif derrière son dépannage électronique, même si elle s'est finalement appuyée sur le simulateur de circuit SPICE . De même, GUIDON a ajouté des règles de tutoriel pour compléter les règles au niveau du domaine de MYCIN afin qu'il puisse expliquer la stratégie de diagnostic médical. Les approches symboliques de l'apprentissage automatique, en particulier celles qui reposent sur un apprentissage basé sur l'explication, telles que PROTOS, s'appuyaient explicitement sur des représentations d'explications, à la fois pour expliquer leurs actions et pour acquérir de nouvelles connaissances.

Dans les années 1980 jusqu'au début des années 1990, les systèmes de maintenance de la vérité (TMS) ont été développés pour étendre les capacités des systèmes d'inférence basés sur le raisonnement causal, les règles et la logique. Un TMS agit pour suivre explicitement les lignes de raisonnement alternatives, les justifications des conclusions et les lignes de raisonnement qui conduisent à des contradictions, permettant au raisonnement futur d'éviter ces impasses. Pour fournir une explication, ils tracent le raisonnement des conclusions aux hypothèses par le biais d'opérations de règles ou d'inférences logiques, permettant de générer des explications à partir des traces de raisonnement. À titre d'exemple, considérons un résolveur de problèmes basé sur des règles avec seulement quelques règles sur Socrate qui conclut qu'il est mort de poison :

En traçant simplement la structure de dépendance, le résolveur de problèmes peut construire l'explication suivante : "Socrate est mort parce qu'il était mortel et a bu du poison, et tous les mortels meurent quand ils boivent du poison. Socrate était mortel parce qu'il était un homme et tous les hommes sont mortels. Socrate a bu du poison parce qu'il avait des croyances dissidentes, le gouvernement était conservateur, et ceux qui avaient des croyances dissidentes conservatrices sous des gouvernements conservateurs doivent boire du poison."

Dans les années 1990, les chercheurs ont également commencé à étudier s'il était possible d'extraire de manière significative les règles non codées à la main générées par les réseaux de neurones formés opaques. Les chercheurs en systèmes experts cliniques créant une aide à la décision alimentée par un réseau neuronal pour les cliniciens ont cherché à développer des explications dynamiques qui permettent à ces technologies d'être plus fiables et dignes de confiance dans la pratique. Dans les années 2010, les préoccupations du public concernant les préjugés raciaux et autres dans l'utilisation de l'IA pour les décisions de condamnation pénale et les conclusions de solvabilité ont peut-être conduit à une demande accrue d'intelligence artificielle transparente. En conséquence, de nombreux universitaires et organisations développent des outils pour aider à détecter les biais dans leurs systèmes.

Marvin Minsky et al. a soulevé la question que l'IA peut fonctionner comme une forme de surveillance, avec les biais inhérents à la surveillance, suggérant HI (Humanistic Intelligence) comme un moyen de créer une IA "humaine dans la boucle" plus juste et équilibrée.

Les techniques modernes d'IA complexes, telles que l'apprentissage en profondeur et les algorithmes génétiques, sont naturellement opaques. Pour résoudre ce problème, de nombreuses nouvelles méthodes ont été développées pour rendre les nouveaux modèles plus explicables et interprétables. Cela inclut de nombreuses méthodes, telles que la propagation de pertinence par couche (LRP), une technique permettant de déterminer quelles caractéristiques dans un vecteur d'entrée particulier contribuent le plus fortement à la sortie d'un réseau de neurones. D'autres techniques ont été développées pour expliquer une prédiction particulière faite par un modèle de boîte noire (non linéaire), un objectif appelé « interprétabilité locale ». Il est à noter que la simple transposition des concepts d'interprétabilité locale dans un contexte distant (où le modèle boîte noire est exécuté chez un tiers) est actuellement à l'étude.

De plus, il y a eu des travaux sur les arbres de décision, les ensembles d'arbres et les réseaux bayésiens, qui sont plus transparents à l'inspection. En 2018, une conférence interdisciplinaire appelée FAT* (Fairness, Accountability, and Transparency) a été créée pour étudier la transparence et l'explicabilité dans le contexte des systèmes sociotechniques, dont beaucoup incluent l'intelligence artificielle.

Certaines techniques permettent de visualiser les entrées auxquelles les neurones individuels répondent le plus fortement. Plusieurs groupes ont découvert que les neurones peuvent être agrégés en circuits qui exécutent des fonctions compréhensibles par l'homme, dont certaines apparaissent de manière fiable sur différents réseaux formés indépendamment.

À un niveau supérieur, diverses techniques existent pour extraire des représentations compressées des caractéristiques d'entrées données, qui peuvent ensuite être analysées par des techniques de clustering standard. Alternativement, les réseaux peuvent être formés pour produire des explications linguistiques de leur comportement, qui sont alors directement interprétables par l'homme. Le comportement du modèle peut également être expliqué en référence aux données d'entraînement, par exemple en évaluant les intrants d'entraînement qui ont le plus influencé un comportement donné.

Régulation

À mesure que les régulateurs, les organismes officiels et les utilisateurs en général dépendent de systèmes dynamiques basés sur l'IA, une responsabilité plus claire sera requise pour les processus de prise de décision afin de garantir la confiance et la transparence. Preuve de cette exigence qui prend de l'ampleur avec le lancement de la première conférence mondiale exclusivement dédiée à cette discipline émergente, l'International Joint Conference on Artificial Intelligence: Workshop on Explainable Artificial Intelligence (XAI).

L'Union européenne a introduit un droit à l'explication dans le droit général de protection des données (RGPD) afin de tenter de résoudre les problèmes potentiels liés à l'importance croissante des algorithmes. La mise en œuvre du règlement a commencé en 2018. Cependant, le droit à l'explication dans le RGPD ne couvre que l'aspect local de l'interprétabilité. Aux États-Unis, les compagnies d'assurance sont tenues d'être en mesure d'expliquer leurs décisions en matière de taux et de couverture.

Secteurs

XAI a fait l'objet de recherches dans de nombreux secteurs, notamment :

Les références

Liens externes