Influence d'un motif statique

L'estimation de $u_i^*$ donnée en (3.2) fait également intervenir la valeur locale du seuil $\theta_i$ dont on a peu parlé jusqu'à présent. Au signe près, le rôle du seuil $\theta$ est en fait tout à fait similaire à celui d'une entrée statique gaussienne $I$ (de moyenne $\bar{I}$ et d'écart-type $\sigma _I$). La différence entre $\theta$ et $I$ repose plutôt sur l'interprétation de ces deux grandeurs : le motif statique est une modulation externe du champ local, tandis que le seuil est une modulation considérée comme ``interne''. Les résultats qui suivent, qui portent sur l'influence de motifs statiques gaussiens sur la configuration spatiale, sont donc directement transposable aux seuils.

Si l'on considère la dynamique contrainte par un motif $I$ gaussien, l'estimation d'$u^*$ à partir de $J$ devient :

$$E(u_i(t))\simeq\left(m^* \sum_{j=1}^N J_{ij}-\theta_i\right) +I_i$$

Selon cette estimation, on s'attend à ce que le vecteur des $u_i^*$ de la dynamique contrainte soit une simple addition linéaire du vecteur des $u_i^*$ de la dynamique spontanée et du motif.

Ce n'est pourtant pas exactement ce qui se passe. En effet, la présentation d'un motif crée une perturbation dans les interactions entre neurones qui ne se ``résout'' qu'à l'issue du temps de relaxation. La nouvelle configuration dépend aussi du nouvel équilibre qui s'instaure entre les neurones. Le système étant non-linéaire, on peut dans tous les cas s'attendre à un nouveau vecteur des potentiels qui s'éloigne dans une certaine mesure de la simple addition entre le vecteur initial et le motif.

On va ici chercher à évaluer un peu plus précisément la nature de cette reconfiguration. Suivant le choix des paramètres $\bar{I}$ et $\sigma _I$, l'``impact'' du motif sur la dynamique du réseau sera plus ou moins important.

Soit un réseau défini par le tirage de ses poids synaptiques et de ses seuils. On cherche à mesurer deux choses :

• L'influence interne, que l'on mesure par la quantité :
  $$C=1-$$cor$$(u^*,I)$$
  où $u^*$ est le vecteur des potentiels moyens de la dynamique contrainte, et $I$ est le motif présenté. Plus $C$ est proche de 1, plus les interactions propres au réseau sont prépondérantes par rapport au motif externe pour déterminer la configuration spatiale. Remarque : par complémentarité, $mbox{cor}(u^*,I)$ donne l'influence externe.
• La discrimination, que l'on mesure par la quantité :
  $$D=1-$$cor$$(u^*,{u^*}')$$
  Où les potentiels moyens $u^*$ et ${u^*}'$ correspondent, sur un même réseau (mêmes couplages, mêmes seuils), aux dynamiques contraintes issues de motifs $I$ et $I'$ indépendants. Une discrimination $D$ proche de 1 assure que des motifs différents conduisent bien à des configurations spatiales différentes :

On peut voir que si l'influence interne est forte et la discrimination faible, le réseau fournit une réponse qui dépend peu de son entrée. À l'inverse, si l'influence interne est faible et la discrimination forte, le réseau se contente de reproduire sur son vecteur des potentiels les caractéristiques de l'entrée. On peut dire dans ce cas que la configuration spatiale du réseau est ``contrôlée'' par le motif.

En observant le comportement des grandeurs $C$ et $D$ dans l'espace des paramètres, on cherche les valeurs de paramètres optimales telles que l'on maximise à la fois l'influence interne et la discrimination.

Pour estimer le comportement de ces grandeurs dans l'espace des paramètres, on a mesuré les quantités $C$ et $D$, sur $10$ réseaux pour chaque valeur des paramètres $\bar{I}$ (moyenne du motif) et $\sigma _I$ (écart-type du motif). La taille des réseaux est $N=200$ et $g=8$. Les motifs étant tirés selon une loi gaussienne, ils sont comparables à des seuils additionnels. Les résultats de cette mesure sont présentés figure 3.3.

Figure 3.3: Mesure de l'influence interne et de la discrimination sur des réseaux de taille finie. Figure du haut, gauche : influence interne $C$ en fonction de $\bar{I}$ et $\sigma _I$. Figure du haut, droite : discrimination $D$ en fonction de $\bar{I}$ et $\sigma _I$. Figure du bas : produit $C\times D$. Paramètres : $g=8$, $N=200$, $\bar{\theta}=0$, $\sigma _\theta =0$, $\bar{J}=0$, $\sigma _J=1$. Pour chaque couple ($\bar{I}$,$\sigma _I$), les valeurs de $C$ et $D$ sont moyennées sur $10$ réseaux.

On voit clairement qu'influence interne et discrimination tendent à se comporter de manière complémentaire. Une influence interne élevée correspond généralement à une discrimination faible, et vice-versa. De façon prévisible, des motifs de faible écart-type ( $\sigma_I \simeq 0.1$) sont mal discriminés (les caractéristiques spatiales de la dynamique spontanée l'emportent), tandis que des motifs de fort écart-type sont bien discriminés (les caractéristiques spatiales du motif l'emportent). On constate que c'est pour des valeurs de l'ordre de $\sigma_I=0.5$ que l'on observe un croisement des deux tendances, et où influence interne et influence externe s'équilibrent.

La qualité du compromis entre influence interne et discrimination peut être mise en évidence par le produit $C\times D$. On voit sur la figure 3.3 que la valeur de ce produit n'est pas uniforme dans l'espace des paramètres. Si l'influence interne ou la discrimination sont très faibles, la valeur du produit sera proche de zéro. Une valeur élevée de ce produit correspond à un bon équilibre entre les deux tendances. On trouve, sur les données présentées, une valeur maximale du produit pour les paramètres ( $\bar{I}=-0.4$, $\sigma _I=0.3$), pour lesquels l'influence interne vaut 0.41 et la discrimination 0.71.

La figure 3.4 représente les potentiels pour un motif dont la répartition obéit à une loi gaussienne et dont on a disposé les valeurs spatialement en faisant ressortir la diagonale pour faciliter l'interprétation visuelle ^3.1. On constate que l'augmentation du paramètre $\sigma _I$ rend la diagonale plus visible sur les potentiels moyens, ce qui correspond à une augmentation de la corrélation entre $I$ et $u^*$.

Figure 3.4: Évolution des potentiels moyens avec l'écart-type $\sigma _I$ du motif. Le motif $I$ présenté correspond à un tirage selon une loi normale centrée. Le vecteur des potentiels $u^*$ est donnée pour $\sigma _I=0.3$, $\sigma _I=0.6$, $\sigma _I=1$. La représentation est celle de Hinton (les points noirs correspondent aux valeurs positives, les points blancs aux valeurs négatives, et la valeur absolue donne le diamètre du cercle). On a vérifié dans les trois cas que la dynamique développée est de même nature (dynamique chaotique). Paramètres : $\bar{I}=0$, $g=8$, $N=100$, $\bar{J}=0$, $\sigma _J=1$.

Donc, plus on augmente $\sigma _I$, plus le motif intervient fortement pour déterminer la configuration spatiale. Néanmoins, on peut remarquer comme dans le paragraphe précédent qu'une corrélation de l'ordre 0.6 entre le motif $I$ et le vecteur des potentiels moyens $u^*$ autorise des écarts importants entre les deux jeux de valeurs ; ces écarts, amplifiés par la non-linéarité de la fonction de transfert, aboutissent à des répartitions entre neurones actifs et neurones figés qui dépendent en fin de compte faiblement des valeurs précises du motif $I$ et dépendent fortement des interactions qui prennent place entre les neurones au cours de la dynamique.

On a donc principalement deux résultats :

• La configuration spatiale, issue du vecteur des potentiels $u^*$, est une donnée fondamentale de l'organisation du système. En particulier, sur un réseau donné, cette configuration spatiale reste la même pour les différents régimes dynamiques qui se développent quand on fait varier la valeur du paramètre de gain $g$.
• Par contre, la présentation d'un motif statique tend à modifier profondément la configuration spatiale. On a en particulier trouvé des valeurs des paramètres ( $\bar{I}=-0.4$, $\sigma _I=0.3$) pour lesquels l'organisation résultante offre un bon compromis entre :
  • la prise en compte de l'influence issue des interactions synaptiques (influence interne)
  • la spécificité par rapport au motif (discrimination).

Sachant que la configuration spatiale a une influence importante sur les caractéristiques de la dynamique (valeur de déstabilisation), il reste à regarder dans quelle mesure la reconfiguration spatiale issue de la présentation d'un motif agit sur la dynamique du réseau.

Avant cela, on va tenter de préciser la nature de l'organisation dynamique.