Le signal moyen

On considère le signal moyen $m_N(t)=\frac{1}{N}\sum_{i=1}^{N}x_i(t)$. Ce signal nous a servi dans la section précédente pour tracer des représentations de l'attracteur du système. Dans le cas où le réseau a un comportement dynamique, les fluctuations du signal $m_N(t)$ sont à chaque instant la moyenne des fluctuations individuelles des signaux d'activation. On constate empiriquement que ces fluctuations individuelles tendent à se compenser à chaque instant, c'est à dire que l'écart-type du signal moyen est plus faible que l'écart-type moyen des signaux individuels. Les signaux individuels semblent donc décorrélés.

Il existe par ailleurs dans le cadre du modèle bruité une description de la loi des activations $Q(t)$ à la limite thermodynamique, comme nous le verrons plus loin. Cette loi limite a pour moyenne $m(t)$, et les équations de champ moyen décrivent le processus d'évolution de cette moyenne au cours du temps :

• Par la loi des grands nombres, la loi des activations des neurones d'un réseau particulier de taille $N$ se rapproche de la loi limite $Q(t)$ pour les $N$ croissants.
• À $N$ infini, la moyenne $m(t)$ de la loi limite tend vers un point fixe $m^*$ pour $t$ croissant. Cette convergence vers le point fixe est rapide (quelques pas de temps).

Par extension, pour des $t$ suffisamment grands, on attend d'un réseau bruité particulier de taille $N$ que son signal moyen $m_N(t)$ soit à tout instant proche de la valeur limite $m^*$, indépendemment du régime dynamique. Ceci implique entre autres que dans le cas par exemple d'un régime chaotique, toutes les fluctuations individuelles tendent à se compenser, c'est à dire qu'on ait des signaux d'activation indépendants sur un réseau donné, ce qui rejoint l'hypothèse (forte) de chaos local : deux neurones $i$ et $j$ pris au sein du même réseau développent des signaux d'activation indépendants.

Les simulations indiquent que le comportement limite décrit dans le cadre du modèle bruité semble pouvoir être étendu au modèle non-bruité. Il est à noter que les simulations effectuées sur ordinateur ne peuvent éviter un bruit numérique qui repose sur un codage discret des valeurs réellees. Si on trouve un même comportement sur le modèle non bruité, peut-être cela vient-il de l'ajout implicite de ce bruit.

Dans le cadre des simulations, on constate un mouvement de convergence qui met en jeu deux tendances :

• la tendance à la compensation des fluctuations individuelles, qui fait que pour $N$ croissant, les fluctuations du signal moyen $m_N(t)$ autour de la valeur moyenne $m_N^*$ diminuent en $1/\sqrt {N}$.
• la tendance à converger vers la loi limite, qui fait que pour $N$ croissant, la moyenne $m_N^*$ tend vers $m^*$.

Pour illustrer la première tendance, on a représenté figure 2.14 des signaux provenant de cinq réseaux différents dont on fait croître la taille, tous les paramètres étant égaux par ailleurs. En particulier, la valeur élevée du paramètre de gain $g=10$ assure que les réseaux développent des dynamiques de type chaotique. Les signaux sont représentés à la même échelle, et on constate d'un simple coup d'il la décroissance de l'amplitude du signal $m_N(t)$ avec la taille du réseau.

Figure 2.14: Sur la figure du haut, on a mis côte à côte à la même échelle 5 signaux moyens $m_N(t)$ mesurés sur 5 réseaux différents de tailles respectives $N=100$, $N=225$, $N=400$, $N=625$ et $N=900$. Sur la figure du bas, on a représenté l'écart-type moyen du signal $m_N(t)$ sur la base de 100 réseaux différents pour chaque valeur de $N$. La fonction $\frac {1}{4\sqrt {N}}$ sert de guide pour l'il. Paramètres : $g=10$, $\bar{\theta}=0.1$, $\sigma _\theta =0.1$, $\bar{J}=0$, $\sigma _J=1$.

Pour illustrer la deuxième tendance, on mesure pour chaque réseau, en régime stationnaire, la moyenne empirique comme $m_N^*=\frac{1}{T}\sum_{t=t_0}^T m_N(t)$, avec $T$ grand. Sur la figure 2.15, on a représenté l'évolution de cette valeur, ainsi que sa dispersion, en fonction de $N$, sur la base de mesures effectuées sur 10 réseaux pour chaque valeur de $N$.

Figure 2.15: Cette figure donne la moyenne et la dispersion de la moyenne empirique $m_N^*$ du signal moyen. Pour chaque valeur de $N$, on regarde la moyenne et l'écart-type de $m_N^*$ sur un échantillon de 10 réseaux. On constate que la dispersion de $m_N^*$ décroit en $1/\sqrt {N}$. On a mis en pointillé la valeur limite $m^*=0.44$, et les fonctions $m^*+\frac {m^*}{\sqrt {N}}$ et $m^*-\frac {m^*}{\sqrt {N}}$ pour guider l'il. la valeur de $m^*$ est calculée à l'aide des équations de champ moyen. Paramètres : $g=6$, $\bar{\theta}=0.1$, $\sigma _\theta =0.1$, $\bar{J}=0$, $\sigma _J=1$