Apprentissage sur les liens retour

L'apprentissage sur les liens retour permet ici d'illustrer le comportement réactif de la couche dynamique.

Les signaux présentés en entrée ne sont pas, pour ce paragraphe, des séquences, mais des inférences définies comme suit. Une inférence est caractérisée par un couple $(i,j)$, tel que dans le signal $I^{(1)}(t)$, si le neurone $i$ est stimulé au temps $t$, le neurone $j$ est sytématiquement stimulé au temps $t+\tau$, avec $\tau \geq 1$ et $i \neq j$. Une base d'inférences de taille $L$ est un ensemble $B_L=\{(i_1,j_1),...,(i_L,j_L)\}$, tel que - 1 - tous les $i_\ell$ sont différents et - 2 - la stimulation de $i_{\ell}$ au temps $t$ est toujours suivi par celle du neurone $j_{\ell}$ au temps $t+\tau$, avec $\tau \geq 1$ et $1 \leq \ell \leq L$.

On prend pour base d'apprentissage la base d'inférences $B_2=\{(1,2),(3,4)\}$, avec pour délai $\tau =2$, afin de prendre en compte le délai de transmission à travers la couche dynamique. Ainsi, si le neurone 1 est stimulé au temps $t$, alors le neurone 2 est stimulé au temps $t+2$ (même rapport entre la stimulation 3 et la stimulation 4). Les couples sont répartis au hasard sur le signal temporel. La probabilité d'apparition des deux couples est la même. Des plages de silence sont maintenues entre les présentations de ces couples.

Le mécanisme est le suivant : Pour un couple ($j,i$), la stimulation du neurone $j$ sur la couche primaire envoie un signal sur la couche dynamique. Cette stimulation est également appelée ``impulsion'' étant donné le caractère brutal de la transition par rapport au repos. L'effet de cette impulsion est sensible au temps $t+1$ sur la couche dynamique. La stimulation du neurone $i$ de la couche primaire au temps $t+2$ arrive en même temps que le signal retour qui prend en compte les effets de l'impulsion. La règle d'apprentissage favorise alors les liens retour correspondant aux neurones chez qui l'impulsion initiale induit une variation significative d'activité. Après apprentissage, la stimulation du neurone $j$ tend à produire l'activation du neurone $i$ au temps $t+2$ via la couche dynamique.

Avec en entrée un signal conforme à la base $B_2$, on itère la dynamique d'apprentissage sur 200 de pas de temps, avec $\alpha =0.1$, en modifiant uniquement les poids retour. Chaque couple est présenté 12 fois en tout.

Pour tester l'effet de l'apprentissage, les neurones 1 ou 3 de la couche primaire sont stimulés isolément, et le signal évoqué sur la couche primaire via les poids retour est mesuré. Il apparaît clairement sur la figure que pour le couple $(j,i)$, l'activation du neurone $j$ au temps $t$ se traduit par un pic d'activité du neurone $i$ à $t+2$, conformément à la base d'apprentissage.

Figure: Signaux d'activation $x_i^{(1)}(t)$, pour $i=1..4$, après apprentissage sur les poids retour. L'apprentissage a préalablement été effectué sur 200 pas de temps avec la base d'inférences $B_2=\{(1,2),(3,4)\}$. Après apprentissage, seuls les neurones 1 et 3 sont stimulés. Les signaux des neurones 2 et 4 sont d'un niveau beaucoup plus faible (échelle $\times 10^3$). Paramètres : $g=8$, $N^{(1)}=100$, $N^{(2)}=200$, $\alpha =0.1$.

Il faut noter que les impulsions envoyées sur la couche dynamique n'induisent pas de changement sensible sur le signal moyen $m_N^{(2)}(t)$ parce que les liens directs sont centrés. Le champ local des neurones de la couche dynamique est ponctuellement déplacé. L'apprentissage sur les poids retour permet précisément de capter ces déplacements. Les neurones 2 et 4 deviennent sensibles à une perturbation spécifique. Sur la figure , on voit que si on prolonge la stimulation sur le neurone 1 de la couche primaire, le niveau d'activation du neurone 2 est nettement augmenté sur la même durée. On voit donc bien que le neurone 2 réagit à la nouvelle configuration spatiale des activations induite sur la couche dynamique, c'est à dire à des différences de niveaux d'activité.

Figure: Signaux d'activation $x_i^{(1)}(t)$, pour $i=1..2$, après apprentissage sur les poids retour. Le neurone 1 est stimulé à deux reprises sur une durée de 10 pas de temps. On constate en retour une hausse sur l'activation moyenne du neurone 2, sur la même durée. Les signaux ne sont pas à la même échelle. Paramètres : $g=8$, $N^{(1)}=100$, $N^{(2)}=200$, $\alpha^{(21)}=0.1$.

Dernière remarque : vue la valeur d' $\alpha^{(21)}$ choisie et le nombre de présentations, le niveau d'activation des neurones 2 et 4 demeure faible. Ceci n'empêche pas l'interprétation et l'exploitation du comportement issu de l'apprentissage.

On peut tenir sensiblement le même raisonnement que précédemment pour déterminer le nombre critique de présentations au delà duquel les neurones de la couche primaire deviennent sensibles au signal retour, au point d'atteindre des valeurs d'activation d'un ordre de grandeur comparable aux stimulations. Dans le cas où le signal d'entrée est une séquence, le franchissement de cette valeur permet l'entretien d'une chaîne d'activation (le signal retour tend alors à se substituer à la stimulation).

Dans le cas général, on peut estimer le nombre critique de présentations par le raisonnement suivant. L'activation du neurone $i$ sur la couche primaire produit au cours de l'apprentissage un changement sur tous les liens $J_{ij}^{(12)}$, pour $j$ de 1 à $N^{(2)}$. L'intensité de ce changement vaut localement $\left\vert\frac{\alpha^{(12)}}{N^{(2)}}a_j(t-1)\right\vert$, et le changement total relatif aux $N^{(2)}$ afférents du neurone $i$ est de l'ordre de $\vert\alpha^{(12)}\sigma_x^{(2)}\vert$, où $\sigma_x^{(2)}$ est l'écart-type moyen des signaux d'activation de la couche dynamique, qui est de l'ordre de 0,25 pour $g=8$. Si l'activation du neurone $i$ était toujours précédée des mêmes valeurs d'activation sur la couche dynamique, le nombre de présentations critique serait de l'ordre de

$$n_\mathrm{sans\ bruit}^{(12)}=\frac{\bar{\theta}^{(1)}}{\alpha^{(12)}\sigma_x^{(2)}}$$

Dans les faits, bien sûr, l'activité de la couche dynamique comprend une partie d'activité non corrélée à la stimulation.

Si maintenant, on suppose que l'on sait estimer par simulation le nombre critique $n_c^{(12)}$, il devient possible d'estimer à partir de ce nombre l'écart-type $\sigma_s^{(2)}$ correspondant à la partie significative (porteuse d'information) de l'activité de la couche dynamique comme

$$\sigma_s^{(2)}\simeq\frac{\bar{\theta}^{(1)}}{\alpha^{(12)}n_c^{(12)}}$$

et correspondant donc au rapport signal sur bruit

$$\frac{\sigma_s^{(2)}}{\sqrt{{\sigma_s^{(2)}}^2-{\sigma_x^{(2)}}^2}}$$