Équations de champ moyen

On peut attribuer à Amari [76] l'origine du concept de réseau neuronal récurrent aléatoire. Dans ce modèle, la taille du réseau est $N$ (supposé grand), et les couplages $J_{ij}$ ainsi que les seuils $\theta_i$ sont issus d'un tirage aléatoire. On parle dans ce cas d'aléa gelé, dans la mesure où le tirage initial définit un système complet (1.3) dont on peut itérer la dynamique au cours du temps sans faire intervenir d'autre forme de bruit.

$$x(t)=h_\omega(x(t-1))$$ (1.3)

L'aléa gelé est désigné par $\omega$ et l'application $h_\omega$ dépend de cet aléa. $x(t)$ est le vecteur des activations, de taille $N$. Les états $x_i(t)$ sont appelés états microscopiques.

Amari définit alors la notion d'état macroscopique $\xi_N(x)$, qui associe une valeur à chaque état microscopique. Pour tout $t$, on peut donc estimer $\xi_N(x(t))$. Un état macroscopique couramment utilisé est la moyenne des activations

$$\xi_N(x(t))=\frac{1}{N}\sum_{i=1}^N x_i(t)$$

Il se pose alors la question de la convergence de $\xi_N$ vers une valeur asymptotique $\xi$ lorsque la taille $N$ tend vers l'infini. Il cherche en particulier à mettre en évidence une équation d'état macroscopique, décrivant l'évolution au cours du temps des états macroscopiques, telle que

$$\lim_{N\rightarrow \infty}\xi_N\left(h_\omega^t(x)\right) =H^t\left(\xi_N(x)\right)$$

Dans le cadre des réseaux récurrents aléatoires, la difficulté est de prouver l'existence de cette équation d'état macroscopique, encore appelée équation de champ moyen. La dynamique du réseau est alors déterminée par un système dynamique de petite dimension portant sur un petit nombre de variables macroscopiques plus faciles à analyser.

Amari se pose le problème pour des neurones de type Mac Cullogh et Pitts (dans le cadre de cette première étude), et montre la convergence asymptotique vers les équations de champ moyen, avec des conditions de normalisation sur les poids synaptiques. Amari étend son étude à des modèles à temps continu, et obtient dans certaines conditions (modèles à deux population) un comportement d'oscillation sur l'état macroscopique.