Informations

Hebbian Learning - Comprendre le tir simultané

Hebbian Learning - Comprendre le tir simultané



We are searching data for your request:

Forums and discussions:
Manuals and reference books:
Data from registers:
Wait the end of the search in all databases.
Upon completion, a link will appear to access the found materials.

Je commence à écrire un simulateur de réseau neuronal en Java et je pense à Hebbian Learning mais je suis bloqué sur une chose :

Qu'est-ce qui fait que deux neurones se déclenchent au même intervalle alors qu'un seul d'entre eux est entré et l'autre pas ? Est-ce qu'il se déclenche tout seul ?

La règle d'apprentissage de Hebbian dit "ceux qui tirent ensemble se connecteront ensemble", mais puisque je n'active que le neurone d'entrée, qu'est-ce qui fait que l'autre neurone intérieur se déclenche ? Dois-je les faire tirer au hasard à certains moments au lieu d'utiliser simplement la matrice de poids $W_{ij}$?

Je suis un fan de l'apprentissage non supervisé et je dois commencer par un cas simple tel que je donne à l'un des 3 à 5 neurones un "1" et j'attends d'un autre un "0" en tant qu'opérateur "PAS".


Vous avez essentiellement 2 options :

  1. Déclenchez manuellement les deux neurones que vous souhaitez coupler - faites-le autant de fois que nécessaire pour les coupler. Après l'apprentissage, il devrait suffire de déclencher un seul neurone pour que le deuxième neurone se déclenche comme vous le souhaitez.
  2. Attribuez un poids de départ à la connexion entre les neurones de telle sorte que le déclenchement de l'un déclenche l'autre. Il s'agit essentiellement de raccourcir le processus d'apprentissage ci-dessus.

Normalement, le processus d'apprentissage dans les réseaux de neurones est basé sur plusieurs entrées simultanées - pas une seule. Le réseau apprend la probabilité statistique que les neurones d'entrée se déclenchent ensemble et est finalement capable de les prédire sans qu'ils se déclenchent. Ainsi, un cas de test d'un seul neurone déclenché peut être utilisé une fois l'apprentissage terminé (la première option) ou lorsque vous restaurez une matrice précédemment enregistrée d'un réseau entraîné (la deuxième option).


Vous savez probablement déjà la plupart des choses dont je vais parler. Mais je veux que ce soit clair de toute façon.

D'abord du point de vue non scientifique de l'apprentissage hebian

Je pense que lorsqu'il n'y a que 2 neurones et que vous voulez les "connecter ensemble", je soupçonne que cela n'apprendrait rien. Dans le et vous pouvez avoir un neurone post-synaptique qui se déclenche chaque fois que le pré-synaptique se déclenche.

Mais quand il y a au moins 2 neurones pré-synaptiques, cela commence à avoir un sens. (Et vous pouvez éviter de donner des nombres aléatoires)

La Potantiation à Long Terme (LTP) est généralement discutée lors de l'apprentissage hebian en cours. Pour donner un exemple clair, supposons que 3 neurones pré-synaptiques, l'un d'entre eux (S1) a une connexion plus forte (poids) au neurone post-synaptique tandis que les deux autres (W1 et W2) ont une connexion faible (poids).

Pour le rendre plus concret, je donnerai des significations (neuro-scientifiquement non valides) à ces neurones. Disons que le neurone post-synaptique est un neurone qui reconnaît les motos. S1 se déclenche lorsque vous voyez un vélo, W1 se déclenche lorsqu'il y a un bruit de moteur et W2 (rendons-le arbitraire) se déclenche lorsqu'il sent les cerises.

Au début, vous n'avez pas idée à quoi ressemble une moto. Mais quand vous le voyez, S1 se déclenche, et parce que vous l'entendez, W1 se déclenche également. Cependant, la contribution de W1 est très faible. S1 peut produire suffisamment d'entrée-sortie pour que le neurone post-synaptique se déclenche. Étant donné que W1 se déclenchait lorsque le neurone post-synaptique se déclenchait, la connexion est renforcée. Anf si vous avez assez d'entrées après quelques points même sans la présence du neurone post-synaptique S1 peut se déclencher. Comme ça ne sentait pas les cerises quand on dit que la moto W2 est restée la même.

Donc, le message à retenir est qu'il est significatif lorsqu'il y a plusieurs entrées pré-synaptiques et que l'effet est d'un seul côté.

Je cite le livre "Cognitive Neuroscience" de Gazzangia

trois règles de LTP associative ont été tracées :

  1. Coopérativité. Plusieurs entrées doivent être actives en même temps.
  2. L'associativité. Les intrants faibles sont potentialisés lorsqu'ils coexistent avec des intrants plus forts.
  3. Spécificité. Seule la synapse stimulée montre une potentialisation.

Du point de vue de l'apprentissage automatique :

Pour l'apprentissage non supervisé dans les réseaux de neurones, vous pouvez consulter :

  • Machines Boltzmann
  • Apprentissage du maximum de vraisemblance stochastique


Voir la vidéo: Lecture 11: Hebbian Learning Rule. ANN (Août 2022).