Propagation du chaos

Considérons deux neurones au sein d'un même réseau, d'index $i$ et $j$. Les deux neurones sont couplés par les poids $J_{ij}$ et $J_{ji}$. Du fait de ces couplages, la valeur du potentiel du neurone $i$ dépend en partie de la valeur de l'activation du neurone $j$ (et réciproquement). Les deux neurones ne sont donc pas indépendants. Néanmoins, plus le système que l'on considère est de grande taille, plus le nombre de couplages est élevé ; dans le cas totalement interconnecté, chaque neurone calcule son potentiel au temps $t$ en fonction de l'ensemble des activations des autres neurones du réseau au temps $t-1$. Plus la taille est élevée, plus l'influence particulière du neurone $j$ est noyée au sein de l'ensemble des influences en provenance de tous les autres neurones.

Ainsi, on peut penser que pour un système de grande taille, tout se passe comme si les neurones $i$ et $j$ étaient indépendants. Cette idée constitue l'intuition première de la conjecture dite de chaos local, proposée par Amari [85] dans le champ des réseaux de neurones. Le terme ``chaos local'' prête un peu à confusion au sein d'un document qui traite essentiellement du chaos déterministe. Le terme ``chaos'' se réfère ici à une acception plus ancienne, relative au caractère désorganisé des trajectoires individuelles de particules d'un milieu gazeux. L'hypothèse de chaos local peut ainsi être rapprochée de l'hypothèse de Boltzmann sur l'indépendance des trajectoires particulaires conduisant à l'homogénéité statistique du gaz constitué d'un grand nombre de particules.

Les idées intuitives qui ont été présentées jusqu'ici correpondent à la version la plus ``forte'' de la conjecture de chaos local. Cette conjecture forte repose sur le caractère décorrélé des trajectoires individuelles. Or, au sein d'un système particulier, dont les poids ont été tirés une fois pour toutes, il se peut que la configuration des couplages conduise à un régime dynamique pour lequel les trajectoires individuelles présentent entre elles un certain degré de corrélation. Dès l'instant où certains neurones tendent à se comporter de la même façon au même moment, l'activation du neurone $i$ n'est pas indépendante de l'activation du neurone $j$, et la conjecture forte ne s'applique pas.

Pour accéder à une notion de chaos local plus opérationnelle, il faut se détacher des contingences particulières que constituent les couplages d'un réseau donné, ainsi que des caractéristiques communes que peuvent présenter des trajectoires individuelles au sein d'un même réseau. Ainsi, pour décrire un comportement générique, il s'avère nécessaire de raisonner sur un grand nombre de réseaux dont les couplages, différents d'un réseau à l'autre, sont tirés selon la même loi. On s'intéresse alors à la répartition de la variable aléatoire $U_N$ qui porte sur une trajectoire individuelle $u_i(t)$ au sein d'un réseau donné, entre $t=0$ et $t=T$. De même, la variable aléatoire $X_N$ porte sur une trajectoire du signal d'activation $x_i(t)$. On suppose que $U_N$ obéit à la loi $P_N$, et $X_N$ à la loi $Q_N$. La loi $Q_N$ est l'image de la loi $P_N$ par la fonction de transfert. La notation $P_N(t)$ désigne la loi qui donne la répartition des potentiels $u_i(t)$ à l'instant $t$.

Pour des raisons de lisibilité, on assimilera par la suite la variable aléatoire $U_N$ à la trajectoire individuelle $u_i(t)$, et la variable aléatoire $X_N$ à la trajectoire individuelle $x_i(t)$

Selon ces définitions, la nouvelle hypothèse d'indépendance dit qu'à l'instant $t$, tout se passe comme si le potentiel $u_i(t)$ du neurone $i$ obéissait à un tirage indépendant selon la loi $P_N(t)$. Il s'agit de la conjecture de propagation du chaos. Le terme ``propagation'' se réfère au raisonnement suivant : si à l'instant initial $t=0$, les potentiels $u_i(0)$ sont tirés de manière indépendante, alors au temps suivant les potentiels garderont cette caractéristique d'indépendance, ceci restant vrai à chaque instant. De proche en proche, les potentiels maintiennent leur indépendance par un phénomène de propagation.

Cette conjecture est accessible à une démonstration mathématique sur notre modèle, à condition d'ajouter un bruit dans les équations d'évolution comme suit :

$$\left\{ \begin{array}{l} u_i(t)=\sum_{j=1}^N J_{ij} x_j(t-1) - \theta_i +W_i(t)\\ x_i(t)=f_g(u_i(t)) \end{array} \right.$$ (2.3)

Le bruit $W_i(t)$ est un bruit gaussien centré d'écart type $\sigma_W$.

Dans le cadre de ce modèle bruité, la conjecture de propagation du chaos a été démontrée [84]. Il apparaît que la loi $P_N$ tend vers une loi gaussienne $P$ à la limite thermodynamique.