Théorie Hebbienne - Hebbian theory

La théorie de Hebbian est une théorie neuroscientifique affirmant qu'une augmentation de l' efficacité synaptique résulte de la stimulation répétée et persistante d'une cellule postsynaptique par une cellule présynaptique . C'est une tentative d'expliquer la plasticité synaptique , l'adaptation des neurones du cerveau au cours du processus d'apprentissage. Il a été introduit par Donald Hebb dans son livre de 1949 The Organization of Behavior . La théorie est aussi appelée la règle de Hebb , le postulat de Hebb , et la théorie de l' assemblage de cellules . Hebb l'énonce ainsi :

Supposons que la persistance ou la répétition d'une activité réverbérante (ou "trace") tende à induire des changements cellulaires durables qui ajoutent à sa stabilité. ... Quand un axone de la cellule A est suffisamment proche pour exciter une cellule B et de façon répétée ou persistante prend part à la cuisson, certains processus de croissance ou le changement métabolique a lieu dans une ou deux cellules de telle sorte que A l » efficacité, comme l' un des les cellules tirant B , est augmentée.

La théorie est souvent résumée comme "Les cellules qui se déclenchent ensemble se connectent ensemble". Cependant, Hebb a souligné que la cellule A a besoin de « prendre part à la cuisson » cellule B , et une telle causalité ne peut se produire que si la cellule A feu juste avant, pas en même temps que la cellule B . Cet aspect de la causalité dans le travail de Hebb préfigurait ce que l'on sait maintenant de la plasticité dépendante du moment du pic , qui nécessite une priorité temporelle.

La théorie tente d'expliquer l' apprentissage associatif ou hebbien , dans lequel l'activation simultanée des cellules conduit à des augmentations prononcées de la force synaptique entre ces cellules. Il fournit également une base biologique pour des méthodes d' apprentissage sans erreur pour l'éducation et la réhabilitation de la mémoire. Dans l'étude des réseaux neuronaux dans la fonction cognitive, il est souvent considéré comme la base neuronale de l'apprentissage non supervisé .

Engrammes hebbiens et théorie de l'assemblage cellulaire

La théorie Hebbian concerne la façon dont les neurones pourraient se connecter pour devenir des engrammes . Les théories de Hebb sur la forme et la fonction des assemblages cellulaires peuvent être comprises comme suit :

L'idée générale est ancienne, selon laquelle deux cellules ou systèmes de cellules qui sont actifs à plusieurs reprises en même temps auront tendance à devenir « associés » de sorte que l'activité de l'une facilite l'activité de l'autre.

Hebb a également écrit :

Lorsqu'une cellule aide à plusieurs reprises à en tirer une autre, l'axone de la première cellule développe des boutons synaptiques (ou les agrandit s'ils existent déjà) en contact avec le soma de la deuxième cellule.

[RÉ. Alan Allport] propose des idées supplémentaires concernant la théorie de l'assemblage cellulaire et son rôle dans la formation d'engrammes, dans le sens du concept d'auto-association, décrit comme suit :

Si les entrées d'un système provoquent l'apparition répétée du même modèle d'activité, l'ensemble d'éléments actifs constituant ce modèle deviendra de plus en plus fortement associé. C'est-à-dire que chaque élément aura tendance à activer tous les autres éléments et (avec des poids négatifs) à désactiver les éléments qui ne font pas partie du motif. Pour le dire autrement, le motif dans son ensemble deviendra « auto-associé ». Nous pouvons appeler un modèle appris (auto-associé) un engramme.

Les travaux du laboratoire d' Eric Kandel ont mis en évidence l'implication des mécanismes d'apprentissage hebbien au niveau des synapses chez le gastéropode marin Aplysia californica . Les expériences sur les mécanismes de modification des synapses de Hebbian au niveau des synapses du système nerveux central des vertébrés sont beaucoup plus difficiles à contrôler que ne le sont les expériences sur les synapses relativement simples du système nerveux périphérique étudiées chez les invertébrés marins. Une grande partie des travaux sur les changements synaptiques durables entre les neurones des vertébrés (comme la potentialisation à long terme ) implique l'utilisation d'une stimulation expérimentale non physiologique des cellules cérébrales. Cependant, certains des mécanismes de modification des synapses physiologiquement pertinents qui ont été étudiés dans le cerveau des vertébrés semblent être des exemples de processus hebbiens. Une de ces études passe en revue les résultats d'expériences qui indiquent que des changements durables des forces synaptiques peuvent être induits par une activité synaptique physiologiquement pertinente fonctionnant à la fois par des mécanismes hebbiens et non hebbiens.

Des principes

Du point de vue des neurones artificiels et des réseaux de neurones artificiels , le principe de Hebb peut être décrit comme une méthode permettant de déterminer comment modifier les poids entre les neurones modèles. Le poids entre deux neurones augmente si les deux neurones s'activent simultanément, et diminue s'ils s'activent séparément. Les nœuds qui ont tendance à être à la fois positifs ou négatifs à la fois ont des poids positifs forts, tandis que ceux qui ont tendance à être opposés ont des poids négatifs forts.

Ce qui suit est une description stéréotypée de l'apprentissage hebbien : (beaucoup d'autres descriptions sont possibles)

${\style d'affichage \,w_{ij}=x_{i}x_{j}}$

où est le poids de la connexion de neurone à neurone et l'entrée pour neurone . Notez qu'il s'agit d'un apprentissage de modèle (poids mis à jour après chaque exemple d'entraînement). Dans un réseau Hopfield , les connexions sont mises à zéro si (aucune connexion réflexive n'est autorisée). Avec les neurones binaires (activations 0 ou 1), les connexions seraient définies sur 1 si les neurones connectés ont la même activation pour un motif. ${\style d'affichage w_{ij}}$${\style d'affichage j}$${\style d'affichage i}$${\style d'affichage x_{i}}$${\style d'affichage i}$${\style d'affichage w_{ij}}$${\style d'affichage i=j}$

Lorsque plusieurs modèles d'entraînement sont utilisés, l'expression devient une moyenne de modèles individuels :

${\displaystyle w_{ij}={\frac {1}{p}}\sum _{k=1}^{p}x_{i}^{k}x_{j}^{k}=<x_{ i}x_{j}>,\,}$

où est le poids de la connexion de neurone à neurone , est le nombre de modèles d'entraînement, la e entrée pour le neurone et <> est la moyenne sur tous les modèles d'entraînement. Il s'agit de l'apprentissage par époque (les poids sont mis à jour après la présentation de tous les exemples d'apprentissage), étant le dernier terme applicable aux ensembles d'apprentissage discrets et continus. Encore une fois, dans un réseau Hopfield, les connexions sont mises à zéro si (pas de connexions réflexives). ${\style d'affichage w_{ij}}$${\style d'affichage j}$${\style d'affichage i}$${\style d'affichage p}$${\displaystyle x_{i}^{k}}$${\style d'affichage k}$${\style d'affichage i}$${\style d'affichage w_{ij}}$${\style d'affichage i=j}$

Une variante de l'apprentissage hebbien qui prend en compte des phénomènes tels que le blocage et de nombreux autres phénomènes d'apprentissage neuronal est le modèle mathématique de Harry Klopf . Le modèle de Klopf reproduit de très nombreux phénomènes biologiques, et est également simple à mettre en œuvre.

Relation avec l'apprentissage non supervisé, la stabilité et la généralisation

En raison de la nature simple de l'apprentissage hebbien, basé uniquement sur la coïncidence de l'activité pré- et post-synaptique, il peut ne pas être intuitivement clair pourquoi cette forme de plasticité conduit à un apprentissage significatif. Cependant, on peut montrer que la plasticité Hebbian capte les propriétés statistiques de l'entrée d'une manière qui peut être classée comme un apprentissage non supervisé.

Ceci peut être montré mathématiquement dans un exemple simplifié. Travaillons sous l'hypothèse simplificatrice d'un seul neurone à taux de taux , dont les entrées ont des taux . La réponse du neurone est généralement décrite comme une combinaison linéaire de son entrée, , suivie d'une fonction de réponse : ${\style d'affichage y(t)}$${\style d'affichage x_{1}(t)...x_{N}(t)}$${\style d'affichage y(t)}$${\displaystyle \sum _{i}w_{i}x_{i}}$ ${\style d'affichage f()}$

${\displaystyle y=f\left(\sum _{i=1}^{N}w_{i}x_{i}\right).}$

Telle que définie dans les sections précédentes, la plasticité hebbienne décrit l'évolution dans le temps du poids synaptique : ${\style d'affichage w}$

${\displaystyle {\frac {dw_{i}}{dt}}=\eta x_{i}y.}$

En supposant, pour simplifier, une fonction de réponse d'identité , nous pouvons écrire ${\style d'affichage f(a)=a}$

${\displaystyle {\frac {dw_{i}}{dt}}=\eta x_{i}\sum _{j=1}^{N}w_{j}x_{j}}$

ou sous forme matricielle :

${\displaystyle {\frac {d\mathbf {w} }{dt}}=\eta \mathbf {x} \mathbf {x} ^{T}\mathbf {w} .}$

Comme dans le chapitre précédent, si l'apprentissage par époque est effectué, un ensemble d'apprentissage moyen sur discret ou continu (dans le temps) peut être effectué :${\style d'affichage <.>}$${\displaystyle \mathbf {x} }$

où est la matrice de corrélation de l'entrée sous l'hypothèse supplémentaire que (c'est-à-dire que la moyenne des entrées est nulle). Il s'agit d'un système d' équations différentielles linéaires couplées. Puisqu'il est symétrique , il est aussi diagonalisable , et la solution peut être trouvée, en travaillant dans sa base de vecteurs propres, être de la forme ${\displaystyle C=\langle \,\mathbf {x} \mathbf {x} ^{T}\rangle }$${\displaystyle \langle \mathbf {x} \rangle =0}$${\style d'affichage N}$${\style d'affichage C}$

${\displaystyle \mathbf {w} (t)=k_{1}e^{\eta \alpha _{1}t}\mathbf {c} _{1}+k_{2}e^{\eta \alpha _{2}t}\mathbf {c} _{2}+...+k_{N}e^{\eta \alpha _{N}t}\mathbf {c} _{N}}$

où sont des constantes arbitraires, sont les vecteurs propres de et leurs valeurs propres correspondantes. Puisqu'une matrice de corrélation est toujours une

matrice définie positive , les valeurs propres sont toutes positives, et on peut facilement voir comment la solution ci-dessus est toujours exponentiellement divergente dans le temps. Il s'agit d'un problème intrinsèque dû au fait que cette version de la règle de Hebb est instable, car dans tout réseau avec un signal dominant, les poids synaptiques augmenteront ou diminueront de manière exponentielle. Intuitivement, c'est parce que chaque fois que le neurone présynaptique excite le neurone postsynaptique, le poids entre eux est renforcé, provoquant une excitation encore plus forte dans le futur, et ainsi de suite, de manière auto-renforçante. On peut penser qu'une solution consiste à limiter le taux de décharge du neurone postsynaptique en ajoutant une fonction de réponse non linéaire et saturante , mais en fait, on peut montrer que pour tout modèle de neurone, la règle de Hebb est instable. Par conséquent, les modèles de réseau de neurones utilisent généralement d'autres théories d'apprentissage telles que la théorie BCM , la règle d'Oja ou l' algorithme généralisé de Hebbian . ${\displaystyle k_{i}}$${\displaystyle \mathbf {c} _{i}}$${\style d'affichage C}$${\displaystyle \alpha _{i}}$${\style d'affichage f}$

Quoi qu'il en soit, même pour la solution instable ci-dessus, on peut voir que, lorsque suffisamment de temps s'est écoulé, l'un des termes domine sur les autres, et

${\displaystyle \mathbf {w} (t)\approx e^{\eta \alpha ^{*}t}\mathbf {c} ^{*}}$

où est la

plus grande valeur propre de . A ce moment, le neurone postsynaptique effectue l'opération suivante : ${\displaystyle \alpha ^{*}}$${\style d'affichage C}$

${\displaystyle y\approx e^{\eta \alpha ^{*}t}\mathbf {c} ^{*}\mathbf {x} }$

Parce que, encore une fois, est le vecteur propre correspondant à la plus grande valeur propre de la matrice de corrélation entre les s, cela correspond exactement au calcul de la première

composante principale de l'entrée. ${\displaystyle \mathbf {c} ^{*}}$${\style d'affichage x_{i}}$

Ce mécanisme peut être étendu à la réalisation d'une PCA complète (analyse en composante principale) de l'entrée en ajoutant d'autres neurones postsynaptiques, à condition que les neurones postsynaptiques soient empêchés de capter tous le même composant principal, par exemple en ajoutant une inhibition latérale dans la couche postsynaptique. Nous avons ainsi relié l'apprentissage hebbien à l'ACP, qui est une forme élémentaire d'apprentissage non supervisé, dans le sens où le réseau peut capter des aspects statistiques utiles de l'entrée, et les « décrire » de manière distillée dans sa sortie.

Limites

Malgré l'utilisation courante des modèles Hebbian pour la potentialisation à long terme, le principe de Hebb ne couvre pas toutes les formes de plasticité synaptique à long terme. Hebb n'a postulé aucune règle pour les synapses inhibitrices, ni n'a fait de prédictions pour les séquences de pointes anti-causales (le neurone présynaptique se déclenche après le neurone postsynaptique). La modification synaptique peut se produire non seulement entre les neurones activés A et B, mais également au niveau des synapses voisines. Toutes les formes de

plasticité hétérosynaptique et homéostatique sont donc considérées comme non hebbiennes. Un exemple est la signalisation rétrograde aux terminaux présynaptiques. Le composé le plus communément identifié comme remplissant ce rôle de transmetteur rétrograde est l'oxyde nitrique , qui, en raison de sa solubilité et de sa diffusivité élevées, exerce souvent des effets sur les neurones voisins. Ce type de modification synaptique diffuse, connue sous le nom d'apprentissage de volume, n'est pas inclus dans le modèle traditionnel de Hebbian.

Compte d'apprentissage Hebbian des neurones miroirs

L'apprentissage Hebbian et la plasticité dépendante du timing des pics ont été utilisés dans une théorie influente sur la façon dont les neurones miroirs émergent. Les neurones miroirs sont des neurones qui se déclenchent à la fois lorsqu'un individu effectue une action et lorsqu'un individu voit ou entend un autre effectuer une action similaire. La découverte de ces neurones a été très influente pour expliquer comment les individus donnent un sens aux actions des autres, en montrant que, lorsqu'une personne perçoit les actions des autres, la personne active les programmes moteurs qu'elle utiliserait pour effectuer des actions similaires. L'activation de ces programmes moteurs ajoute alors des informations à la perception et aide à prédire ce que la personne fera ensuite en fonction du propre programme moteur du percepteur. Un défi a été d'expliquer comment les individus en viennent à avoir des neurones qui réagissent à la fois en effectuant une action et en entendant ou en voyant un autre effectuer des actions similaires.

Christian Keysers et David Perrett ont suggéré que lorsqu'un individu effectue une action particulière, l'individu verra, entendra et ressentira l'exécution de l'action. Ces signaux sensoriels réafférents déclencheront une activité dans les neurones répondant à la vue, au son et à la sensation de l'action. Étant donné que l'activité de ces neurones sensoriels chevauche systématiquement dans le temps celle des motoneurones qui ont provoqué l'action, l'apprentissage Hebbian prédit que les synapses reliant les neurones répondant à la vue, au son et à la sensation d'une action et celles des neurones déclenchant le l'action doit être potentialisée. La même chose est vraie lorsque les gens se regardent dans le miroir, s'entendent babiller ou sont imités par les autres. Après une expérience répétée de cette ré-afférence, les synapses reliant les représentations sensorielles et motrices d'une action sont si fortes que les motoneurones commencent à tirer au son ou à la vision de l'action, et un neurone miroir est créé.

Les preuves de cette perspective proviennent de nombreuses expériences qui montrent que les programmes moteurs peuvent être déclenchés par de nouveaux stimuli auditifs ou visuels après appariement répété du stimulus avec l'exécution du programme moteur (pour un examen des preuves, voir Giudice et al., 2009 ). Par exemple, les personnes qui n'ont jamais joué du piano n'activent pas les régions cérébrales impliquées dans le jeu du piano lorsqu'elles écoutent de la musique pour piano. Cinq heures de cours de piano, au cours desquelles le participant est exposé au son du piano à chaque fois qu'il appuie sur une touche, s'avèrent suffisants pour déclencher une activité dans les régions motrices du cerveau en écoutant de la musique de piano lorsqu'elle est entendue plus tard. Conformément au fait que la plasticité dépendante du temps de pointe ne se produit que si le déclenchement du neurone présynaptique prédit le déclenchement du neurone post-synaptique, le lien entre les stimuli sensoriels et les programmes moteurs ne semble également être potentialisé que si le stimulus dépend du programme moteur.

Voir également

Les références

Lectures complémentaires

• Hebb, DO (1961). « Caractéristiques distinctives de l'apprentissage chez l'animal supérieur ». Dans JF Delafresnaye (éd.). Mécanismes cérébraux et apprentissage . Londres : Oxford University Press.
• Hebb, DO (1940). "Le comportement humain après le retrait bilatéral étendu des lobes frontaux". Archives de neurologie et de psychiatrie . 44 (2) : 421-438. doi : 10.1001/archneurpsyc.1940.02280080181011 .
• Bishop, CM (1995). Réseaux de neurones pour la reconnaissance de formes . Oxford : Oxford University Press. ISBN 978-0-19-853849-3.
• Paulsen, O.; Sejnowski, TJ (2000). "Modèles naturels d'activité et plasticité synaptique à long terme" . Opinion actuelle en neurobiologie . 10 (2) : 172–179. doi : 10.1016/S0959-4388(00)00076-3 . PMC  2900254 . PMID  10753798 .

Liens externes

• Aperçu
• Tutoriel d'apprentissage Hebbian ( Partie 1 : Filtrage des nouveautés , Partie 2 : PCA )