Comportement statistique à taille finie

Les mesures que nous présentons ici ont pour but d'illustrer le rôle du paramètre de gain $g$ et du seuil $\bar{\theta}$ sur la répartition statistique des activations des neurones. On ne s'intéresse (pour l'instant) pas au régime dynamique. Nous présentons ici des répartitions empiriques fondées sur l'observation des activations et des potentiels sur les quelques pas de temps qui suivent l'initialisation.

Les réseaux sont de taille $N=100$. Cette taille assure une bonne homogénéité des comportements dynamiques d'un réseau à l'autre. Les paramètres invariants sont $\bar{J}=0$ (poids synaptiques centrés), $\sigma _J=1$ et $\sigma _\theta =0.1$. On regarde donc l'évolution des répartitions des potentiels $u_i$ et des activations $x_i$ en modifiant les paramètres $g$ et $\bar{\theta}$.

À $t=0$, les activations $x_i(0)$ de chaque réseau sont initialisées suivant une loi uniforme en $]0,1[$. On itère ensuite la dynamique jusqu'au temps $t_m>0$. On mesure alors le potentiel $u_i(t_m)$ (ou l'activation $x_i(t_m)$) d'un seul neurone du réseau, d'indice $i$. Le temps $t_m$ et l'indice $i$ étant fixés, cette mesure de répartition porte sur l'aléa des réseaux, c'est à dire sur un grand nombre de tirages des poids qui définissent les systèmes. Pour plusieurs jeux de paramètres $g$ et $\bar{\theta}$, on répète cette mesure sur $10000$ réseaux différents, ce qui permet d'obtenir des histogrammes de répartition assez précis.

On constate en premier lieu que la convergence vers une répartition stationnaire est très rapide. Sur la figure 2.2, on a representé trois répartition des potentiels obtenues pour les valeurs $t_m=1$, $t_m=2$ et $t_m=100$. On voit alors clairement que dès le deuxième pas de temps, on est très près d'avoir atteint la répartition stationnaire. En particulier, cette répartition stationnaire, qui correspond à une observation sur tous les réseaux de façon indifférenciée, est atteinte bien avant le régime stationnaire de la dynamique des réseaux individuels (voir page ).

Figure 2.2: Convergence vers la répartition stationnaire. On a représenté sur cette figure la répartition empirique sur l'aléa des $u_i(t_m)$, pour (de gauche à droite) $t_m=1$, $t_m=2$ et $t_m=100$. Les mesures ont été effectuées à chaque fois sur $10000$ réseaux différents. Les histogramnmes font apparaître des répartitions centrées dont l'écart-type est de l'ordre de 0,7. On constate que la convergence vers une répartition stationnaire est très rapide, puisqu'à $t_m=2$ on a une répartition très proche de celle obtenue pour $t_m=100$. Les autres paramètres sont $\bar{J}=0$, $\sigma _J=1$, $\sigma _\theta =0.1$, $\bar{\theta}=0$, $g=4$.

Les mesures suivantes sont toutes effectuées au temps $t_m=20$, temps auquel on s'attend à obtenir une répartition stationnaire.

• Le premier jeu de figures (figure 2.3) a pour mission d'illustrer le rôle du paramètre de gain $g$ sur la répartition des activations $x_i(t)$. On voit que cette répartition des activations a une forme particulière en ``cuvette''. Cette forme correspond au passage de la répartition gaussienne des $u_i(t)$ dans la fonction de transfert $f_g$, qui répartit les valeurs non-linéairement sur l'intervalle $]0,1[$. La loi des $x_i(t)$ est plus précisément la loi image par la fonction de transfert de la loi des $u_i(t)$. Ainsi, en changeant la valeur de $g$, on modifie la forme de la fonction de transfert ce qui a un effet direct sur la loi des $x_i(t)$. Sachant que l'augmentation du gain fait tendre la fonction de transfert vers une fonction seuil $\Theta (x>0)$, la même augmentation de gain fait tendre la répartition des $x_i(t)$ vers une répartition binaire. Ainsi, la répartition en cuvette des activations tend à se creuser lorsque l'on augmente le gain. Par contraste, on constate que la modification du paramètre $g$ a peu d'influence sur la répartition des $u_i(t)$.

  Le tableau 2.1 donne les valeurs de la moyenne égale à l'espérance sur l'aléa ${\mathcal M}_1(t_m)=E(x_i(t_m))$, du moment d'ordre 2 ${\mathcal M}_2(t_m)=E(x_i^2(t_m))$, du moment d'ordre 3 ${\mathcal M}_3(t_m)=E(x_i^3(t_m))$ et du moment d'ordre 4 $\mathcal M_4(t_m)=E(x_i^4(t_m))$, à partir de la répartition des $x_i(t_m)$ de la figure 2.3. L'évolution de ces grandeurs empiriques est donnée en fonction de $g$. Les indicateurs appelés ``Gauchissement'' et ``Aplatissement'' donnent des indications sur le caractère non gaussien de la distribution (cette loi est par ailleurs calculable analytiquement, voir [9]) :

  • Le Gauchissement (skewness) vaut $\frac{E((x-E(x))^3)}{\sigma_x^3}$, où $\sigma_x$ est l'écart-type $\sqrt{E((x-E(x))^2)}$. Il mesure le caractère asymétrique de la loi de part et d'autre de la valeur moyenne. Pour une loi gaussienne, le gauchissement doit se rapprocher de zéro.
  • L'Aplatissement (Kurtosis) vaut $\frac{E((x-E(x))^4)}{\sigma_x^4}$. Il donne une indication sur le caractère non-connexe de la distribution (plus l'aplatissement est proche de 1, plus la loi tend à présenter deux zones de forte densité disjointes). L'Aplatissement d'une loi gaussienne vaut 3, celui d'une loi uniforme vaut 1.8, celui d'une loi binaire vaut 1.

  
  

  Tableau 2.1: Valeur des moments de la répartition empirique sur l'aléa des $x_i(t_m)$ en fonction de $g$, sur une base de 10000 mesures, avec $N=100$, $\bar{J}=0$, $\sigma _J=1$, $\sigma _{\theta }=0.1$, $\bar{\theta}=0$, $t_m=20$.

  g	2	4	6		2	4	6
  ${\mathcal M}_1(t_m)$	0.4960	0.5010	0.5029
  ${\mathcal M}_2(t_m)$	0.3626	0.4298	0.4563	Variance	0.1166	0.1788	0.2033
  ${\mathcal M}_3(t_m)$	0.2965	0.3939	0.4327	Gauchissement	0.0245	0.0245	-0.0143
  ${\mathcal M}_4(t_m)$	0.2550	0.3702	0.4170	Aplatissement	1.5085	1.2221	1.1386

  
  

  On constate à la lecture du tableau que l'aplatissement tend vers 1 lorsque $g$ croît, ce qui illustre le fait que la distribution tend vers une distribution binaire pour g croissant. On a donc un passage progressif de l'analogique au digital.

  Figure 2.3: Influence du gain sur la répartition des activations. Les figures du haut donnent la répartition empirique sur l'aléa des $u_i(t_m)$ et les figures du bas donnent la répartition empirique sur l'aléa des $x_i(t_m)$, toutes sur la base de $10000$ réseaux. On a de gauche à droite $g=2$, $g=4$ et $g=6$. On constate une influence forte du paramètre de gain sur la répartition des activations : une augmentation du gain tend à creuser la distribution et à rapprocher la distribution d'une distribution binaire. Les autres paramètres sont $N=100$, $\bar{J}=0$, $\sigma _J=1$, $\sigma _\theta =0.1$, $\bar{\theta}=0$, $t_m=20$.

  

  

• Rappelons que les seuils $\theta_i$, tout comme les poids, sont fixés à l'initialisation du réseau selon une loi gaussienne ${\mathcal N}(\bar{\theta},\sigma_\theta^2)$. La deuxième série de figures 2.4, qui est à mettre en parallèle avec la précédente, montre, à $g$ constant, l'influence du paramètre de moyenne sur les seuils $\bar{\theta}$ sur la répartition des activations $x_i(t)$. Plus précisément, une valeur positive de $\bar{\theta}$ décale la répartition des potentiels $u_i(t)$ vers une gaussienne centrée en $-\bar{\theta}$. Cette non-symétrie se traduit sur la répartition des $x_i(t)$. On voit donc que des seuils positifs tendent en moyenne à atténuer l'activation des neurones (et a contrario des seuils négatifs tendent à renforcer l'activation des neurones).

  On donne dans le tableau 2.2 les valeurs de la moyenne ${\mathcal M}_1(t_m)$, du moment d'ordre 2 ${\mathcal M}_2(t_m)$, du moment d'ordre 3 ${\mathcal M}_3(t_m)$ et du moment d'ordre 4 ${\mathcal M}_4(t_m)$ de la répartition des $x_i(t_m)$ de la figure 2.4, en fonction de $\bar{\theta}$. On constate cette fois-ci que l'indicateur de gauchissement augmente avec $\bar{\theta}$, ce qui illustre l'asymétrie croissante de la distribution.

Tableau 2.2: Valeur des moments de la répartition empirique sur l'aléa des $x_i(t_m)$ en fonction de $\bar{\theta}$, sur une base de 10000 mesures, avec $N=100$, $\bar{J}=0$, $\sigma _J=1$, $\sigma _\theta =0.1$, $g=4$, $t_m=20$.

$\bar{\theta}$	0	0.1	0.2		0	0.1	0.2
${\mathcal M}_1(t_m)$	0.5010	0.4398	0.3645
${\mathcal M}_2(t_m)$	0.4298	0.3639	0.2829	Variance	0.1788	0.1705	0.1500
${\mathcal M}_3(t_m)$	0.3939	0.3269	0.2452	Gauchissement	0.0245	0.2397	0.5641
${\mathcal M}_4(t_m)$	0.3702	0.3030	0.2218	Aplatissement	1.2221	1.3070	1.6376

Figure: Influence du seuil moyen $\bar{\theta}$ sur la répartition des activations. Les figures du haut donnent la répartition empirique sur l'aléa des $u_i(t_m)$ et les figures du bas donnent la répartition empirique sur l'aléa des $x_i(t_m)$, toutes sur la base de $10000$ réseaux. On a de gauche à droite $\bar{\theta}=0$, $\bar{\theta}=0.1$ et $\bar{\theta}=0.2$. La présence de seuils non centrés tend à décaler vers des valeurs négatives la répartition des $u_i(t_m)$, ce qui se traduit par une asymétrie sur la distribution des $x_i(t_m)$. Les autres paramètres sont $N=100$, $\bar{J}=0$, $\sigma _J=1$, $\sigma _\theta =0.1$, $g=4$, $t_m=20$.

Ces premières mesures ont permis d'illustrer :

• l'homogénéité du comportements statistiques d'un grand ensemble de réseaux. Ce premier point permet de se familiariser avec les grandeurs manipulées dans le cadre des équations de champ moyen (voir page ).
• le caractère changeant de la répartition des $x_i$ lorsque l'on fait varier les paramètres $g$ et $\theta$. La physionomie de la loi des activations a des effets importants sur le régime dynamique du réseau, et influence en particulier l'aspect du spectre de la jacobienne à la déstabilisation (voit page ).