Neurones actifs et déstabilisation

Les mesures qui précèdent ont montré de manière qualitative le lien que l'on pouvait établir entre des distributions de potentiels moyens et l'activité dynamique de nos réseaux. On propose ici une approche équivalente, fondée sur une approximation du rayon spectral de la jacobienne, qui permet de relier la distribution des $u_i^*$ avec la valeur de déstabilisation $g_c$.

Pour les réseaux en point fixe, on a vu dans la section 2.1.3 que la valeur du rayon spectral $\rho$ du système est approché par $\rho \simeq 2g \sigma_J E(x_i^*-{x_i^*}^2)=\sigma_J E(f_g'(u_i^*))$ (sachant que $f_g'(u_i^*)=2g(f_g(u_i^*)-f_g^2(u_i^*)$). La valeur de la dérivée de la fonction de transfert est maximale en zéro ; ainsi, une surdensité en valeurs centrées tend à augmenter l'espérance de $\rho$, ce qui tend à abaisser la valeur de déstabilisation $g_c$. On a donc un lien clair entre la distribution des $u_i^*$ et la valeur de déstabilisation.

Essayons de comprendre ce qui se passe lors de la période transitoire. À l'initialisation, le réseau est loin de l'équilibre ; les valeurs de chaque neurone subissent d'importantes variations pour les premiers pas de temps qui suivent l'initialisation. Les neurones dont le potentiel se maintient autour de zéro auront tendance à propager le signal reçu. Au contraire, les neurones dont le potentiel s'éloigne de zéro tendent à amoindrir l'amplitude de ce signal. C'est la compétition entre ces deux tendances qui aboutit soit à la convergence vers un point fixe (la tendance stabilisatrice gagne), soit vers un régime dynamique (la tendance activatrice gagne).

En ce sens, la moyenne $\tilde{\rho}=\frac{1}{N}\sum_{i=1}^N f_g'(u_i^*)$ nous renseigne sur ce rapport de forces. Ainsi, la déstabilisation du réseau prend place au moment où tendance stabilisatrice et tendance activatrice s'équilibrent, soit $\tilde{\rho}\simeq 1$.

Localement, la valeur de $f_g'(u_i^*)$ permet de caractériser la nature des neurones, soit :

• Un neurone actif est un neurone tel que $f_g'(u_i^*)>1$, qui tend à amplifier l'instabilité du réseau et donc à activer sa dynamique.
• Un neurone figé est un neurone tel que $f_g'(u_i^*)<1$, avec une activité dynamique faible ou presque nulle, et qui tend à faire diminuer l'instabilité, donc à stabiliser la dynamique.

Cette définition permet d'étendre les termes ``neurone actif'' et ``neurone figé'' aux réseaux en point fixe.

Remarques :

• Ces deux catégories ne sont définies que si la tangente de la fonction de transfert en 0 est $>1$ (c'est à dire si $g$ est plus grand que 2).
• Dans le cas où la variance est faible, $f_g'(u_i^*)$ correspond à l'amplification du signal propre $b_i(t)$ par la fonction de transfert, c'est à dire $a_i(t) \simeq f_g'(u_i^*) b_i(t)$.