Régime pseudo-périodique

Sur un réseau de taille $N=200$, la dynamique spontanée est itérée jusqu'à ce que la dynamique soit estimée suffisamment proche de la stationnarité. Le temps $t_0$ marque cette entrée en dynamique stationnaire. La valeur de $g$ a été choisie afin que le système soit en régime pseudo-périodique. De $t=t_0+1$ à $t=t_0+T$, la dynamique d'apprentissage est itérée, avec $\alpha =0.1$. La figure 4.2 présente l'évolution du signal moyen $m_N(t)$, avec $t_0=1000$. L'apprentissage est arrêté arbitrairement après $T$ pas de temps (deux valeurs de $T$ sont utilisées : $T=1000$ et $T=2000$). La dynamique spontanée est itérée après apprentissage sur 1000 pas de temps supplémentaires (avec la nouvelle matrice de poids).

Figure 4.2: Évolution du signal $m_N(t)$ au cours de la dynamique d'apprentissage (dynamique spontanée). Les 1000 premiers pas de temps correspondent à la dynamique de relaxation. Les 1000 (Figure du haut) ou 2000 (Figure du bas) pas de temps suivants correspondent à la dynamique d'apprentissage. Après apprentissage, on itère la dynamique spontanée sur 1000 pas de temps. À droite sont représentés les diagrammes de premier retour, qui superposent l'attracteur avant apprentissage et l'attracteur après apprentissage. Dans le second cas (2000 pas d'apprentissage), l'attracteur est périodique de période 5. On a relié les 5 points successifs par des traits. Paramètres : $\alpha =0.1$, $N=200$, $g=4.9$, $\bar{\theta}=0$, $\sigma _\theta =0$, $\bar{J}=0$, $\sigma _J=1$.

Lorsque la dynamique initiale est un cycle limite d'amplitude faible, on constate d'emblée que la dynamique d'apprentissage tend à augmenter l'amplitude du signal moyen. Cet effet sur l'observable global correspond localement à une augmentation de l'amplitude moyenne des signaux individuels. En effet, si le signal d'activation $x_j(t-1)$ est corrélé au signal d'activation $x_i(t)$, l'apprentissage facilite et amplifie la transmission du neurone $j$ vers le neurone $i$. Sachant que les neurones afférents corrélés à $x_i(t)$ sont également corrélés entre eux, le renforcement des liens en provenance de ce groupe de neurones accentue l'influence de leur signal commun sur le champ local du neurone $i$, ce qui a pour effet d'augmenter :

• la corrélation entre le neurone $i$ et ses afférents
• l'amplitude du signal de champ local $c_i(t)$.

Par ailleurs, on constate que l'évolution du régime dynamique est non-monotone. On observe fréquemment une augmentation de la complexité de la dynamique qui va de pair avec l'augmentation du diamètre du signal $m_N(t)$, suivie d'une régularisation de la dynamique qui aboutit à un cycle de forte amplitude. On peut voir cette évolution en deux étapes comme la manifestation de deux tendances concurrentes :

• Par augmentation de l'amplitude des signaux locaux, le régime dynamique tend à se complexifier (c'est l'équivalent de l'augmentation du paramètre de gain $g$).
• En renforçant les corrélations entre classes de neurones successives, on tend à produire un régime régulier de type périodique.

La dynamique cyclique atteinte en fin de compte est strictement périodique (période fondamentale entière). Au cours de l'apprentissage, la valeur irrationnelle de la période dominante dérive légèrement jusqu'à se bloquer sur une valeur rationnelle.