Effet sur la matrice des poids

Après apprentissage, on observe une augmentation faible, mais sensible et systématique, de la variance empirique de la distribution des poids. Si $t_0$ marque le début de l'apprentissage et $T$ est la durée de l'apprentissage, on définit la matrice d'évolution des poids synaptiques par $\delta J= J(t_0+T)-J(t_0)$. L'observation de la matrice $\delta J$ montre que la répartition des valeurs n'est pas du tout uniforme. Sachant que la modification des poids est proportionnelle à cov$_{ij}^{[1]}$, dont la distribution suit une loi de puissance avant apprentissage, la répartition des $\delta J_{ij}$ correspond logiquement à une loi de puissance (voir figure 4.5). On voit que la modification de variance observée de manière globale, correspond localement à des augmentations fortes et ciblées sur certains liens synaptiques spécifiques et rares.

Figure 4.5: Répartition des valeurs de $\delta J$. La matrice $\delta J$ est issue d'un apprentissage sur 500 pas de temps, avec $\alpha =0.1$. Chaque $\vert\delta J_{ij}\vert$ est reporté dans l'histogramme, pour des plages de répartitions de largeur $5.10^{-4}$. On trouve une pente $b \simeq 0.88$. Paramètres : $N=200$, $g=6$, $\bar{\theta}=0$, $\sigma _\theta =0$, $\bar{J}=0$, $\sigma _J=1$.

Par ailleurs, les liens renforcés correspondent au circuit d'activation spécifique de la dynamique spontanée du réseau. Dans le cas où $\tau$ est proche de 2, par exemple, la matrice $\delta J$ est à peu près symétrique (renforcement des signaux en opposition de phase). Dans le cas où la période $\tau$ est proche de 4, la matrice $\delta J$ est à peu près antisymétrique (renforcement des signaux en quadrature). Globalement, une forte valeur de $\delta J_{ij}$ indique un décalage de phase de 1 entre le signal de $i$ et celui de $j$. La règle a plus généralement tendance à renforcer la connectivité positive entre les relais du circuit interne dont le décalage de phase vaut 1 (et la connectivité négative entre les relais dont le décalage de phase vaut environ $1+\frac{\tau}{2}$).

L'étude de la matrice $\delta J$ permet d'observer la mise en place de circuits d'activation qui relient entre eux des groupes de neurones corrélés avec un décalage d'un pas de temps. Chaque colonne (d'indice $j$) de la matrice contient des valeurs significativement plus élevées que la moyenne qui désignent les neurones cibles $i$ que le neurone source $j$ active préférentiellement. On peut ainsi définir un graphe où apparaît le chemin complet, dont la longueur doit correspondre à la période fondamentale. Le schéma de la figure 4.6 illustre ce principe de renforcement, pour 5 neurones et une période $\tau =3$.

Figure 4.6: Exemple de configuration de la matrice $\delta J$, dans le cas d'une dynamique de période 3. Les liens renforcés permettent de déduire la nature du circuit d'activation.