Transferts d'énergie et Frustration

Rappelons ici que les poids synaptiques prennent leurs valeurs sur $\mathbb{R}$. En conséquence, le signal d'activation source $x_j(t-1)$ atteint le neurone cible sous la forme $c_{ij}(t)=J_{ij}x_j(t-1)$, qui est corrélé à $x_j(t-1)$ si $J_{ij}$ est positif et anticorrélé à $x_j(t-1)$ si $J_{ij}$ est négatif.

On peut par extension dire, a priori, qu'un lien excitateur (positif) tend à favoriser la corrélation entre $x_j(t-1)$ et $x_i(t)$, et un lien négatif tend à favoriser l'anticorrélation entre $x_j(t-1)$ et $x_i(t)$. Ceci vaut pour les $N^2$ liens synaptiques qui définissent le réseau. Dans les faits, l'organisation qui se met en place dans le réseau peut être vue comme le résultat d'un compromis entre toutes ces tendances. Deux neurones peuvent présenter une covariance positive en $(t-1,t)$ et néanmoins avoir un lien de l'un vers l'autre négatif ; dans ce cas, l'influence globale de tous les autres états du réseau domine cette instanciation particulière.

Le concept de frustration, introduit par les physiciens dans l'étude des verres de spin [92], pourrait être étendu ici. Rappelons que dans le modèle de Hopfield, où les liens sont symétriques, et où les activations prennent leurs valeurs sur $\{-1,1\}$. une connexion $J_{ij}$ est dite frustrée si le lien est positif et les activations opposées, ou si le lien est négatif et les activations sont égales. En effet, l'énergie d'interaction entre neurones (spins) étant $E_{ij}=-J_{ij} x_i x_j$, une configuration est frustrée si elle ne peut réaliser un minimum global de son énergie. Si les $J_{ij}$ sont aléatoires, il n'existe pas en général de configuration réalisant un minimum global de l'énergie, mais plutôt une multitude de configurations réalisant un minimum local et dans lesquelles certaines liaisons sont frustrées. Il s'en suit l'existence d'une multitude d'attracteurs créant la richesse du modèle de Hopfield.

La définition de la frustration que nous adopterons porte non pas sur l'activation du signal, mais sur la covariance entre $x_i(t)$ et $x_j(t-1)$. Cette covariance est estimée une fois que le réseau a atteint sa dynamique stationnaire. On propose la terminologie suivante :

• Un lien $J_{ij}$ est dit frustré si $J_{ij}$cov$_{ij}^{[1]}<0$ soit :
  • $J_{ij}>0$ et cov $_{ij}^{[1]}<0$.
  • $J_{ij}<0$ et cov $_{ij}^{[1]}>0$.
• Un lien est non frustré si $J_{ij}$cov$_{ij}^{[1]}>0$ soit :
  • $J_{ij}>0$ et cov $_{ij}^{[1]}>0$.
  • $J_{ij}<0$ et cov $_{ij}^{[1]}<0$.

On pose $E_{ij}=-J_{ij}$cov$_{ij}^{[1]}$, analogue formel de l'énergie d'interaction du modèle de Hopfield. Ce terme peut encore être appelé transfert d'énergie pour indiquer le mouvement induit par le décalage temporel. La somme de tous ces transferts d'énergie donne un terme d'énergie global $E=\sum_{i,j}E_{ij}$, qui donne une indication sur l'activité dynamique du réseau (en cas de point fixe, l'énergie globale est nulle).

La figure 3.16 montre que la répartition des valeurs de $E_{ij}$ est non centrée, décalée vers les valeurs négatives, ce qui indique qu'en dynamique stationnaire, il y a moins de liens frustrés que de liens non-frustrés. La dynamique semble s'organiser de telle sorte que la frustration soit faible. On voit donc l'analogie qui peut être établie avec le modèle de Hopfield, à ceci près que le critère de frustration repose sur l'activité dynamique qui n'existe pas dans le modèle de Hopfield.

Figure 3.16: Histogramme sur les transferts d'énergie $E_{ij}$. La mesure est faite sur un réseau de 200 neurones en dynamique stationnaire. On a tracé l'histogramme sur les 40.000 termes de transferts d'énergie trouvés (un terme par lien synaptique). L'abcisse est en échelle logarithmique. Régime chaotique ($g=8$). Paramètres : $\bar{\theta}=0$, $\sigma _{\theta }=0$, $\bar{J}=0$, $\sigma _J=1$.

Ce décalage des $E_{ij}$ vers les valeurs négatives, montré sur un exemple, est systématiquement observé sur toutes les dynamiques, du cycle limite au chaos profond. En particulier, l'histogramme présenté porte sur une dynamique de type chaos profond. Cette dynamique reproduit extérieurement toutes les caractéristiques d'un signal aléatoire. On observe une régularité statistique reposant sur une tendance à réduire la frustration.

Dans le cas où la dynamique est cyclique et où l'on peut discerner un circuit d'activation, la disposition des neurones dans ce circuit suit en partie cette contrainte de minimisation de la frustration qui repose sur les valeurs particulières des poids synaptiques. On peut cependant remarquer que cette contrainte est assez lâche et autorise un grand nombre de circuits différents. Il est en effet peu probable que le circuit qui se met en place dans le réseau soit précisément celui qui minimise la frustration, dans la mesure où de nombreux circuits différents, compatibles avec la matrice $J$, peuvent apparaître lorsque l'on modifie le seuils.