Rôle de l'aléa des poids sur la configuration spatiale

Nos systèmes sont des systèmes à aléa gelé. Les poids synaptiques et les seuils sont tirés une fois pour toutes. On cherche ici à estimer l'influence du tirage initial de la matrice des poids sur la configuration spatiale, en l'absence de motif d'entrée.

Il est possible d'estimer à partir de la simple matrice des poids $J$ (sans itérer la dynamique) la valeur du point fixe $\{u_i^*\}_{i=1..N}$ pour tout $i$. Les équations de champ moyen nous donnent à tout instant une estimation de l'activation moyenne $m(t)$, qui tend pour les temps longs vers la valeur $m^*$. À taille finie, les couplages sont définis par la matrice aléatoire $J$. En supposant l'indépendance des activations afférentes $\{x_j(t-1)\}_{j=1..N}$, et en supposant que $m^*$ fournit une bonne approximation de l'espérance des activations $m_N^*$, l'estimation de l'espérance du potentiel $u_i(t)= \sum_{i=1}^N J_{ij} x_j(t-1)-\theta_i$ est donnée par :

$$E(u_i(t))=u_i^* \simeq m^* \sum_{j=1}^N J_{ij} -\theta_i$$ (3.2)

Cette estimation est donc fondée à la fois sur la somme des lignes de la matrice des poids et sur la valeur locale du seuil.

La pertinence de cette estimation peut être évaluée en itérant la dynamique et en calculant les $u_i^*$ effectifs. Pour des seuils nuls, on trouve une corrélation entre la valeur estimée et la valeur effective comprise entre 0.7 et 0.8. Ces valeurs de corrélation ne dépendent pas de la taille $N$ (l'estimation n'est pas meilleure si on augmente la taille).

Étant donné la dépendance de la configuration spatiale par rapport aux valeurs $u_i^*$, la conclusion immédiate, prévisible, est que le tirage des poids ``prédétermine'' la configuration spatiale. La matrice des poids donne déjà une estimation de la catégorie des neurones. Il ne s'agit néanmoins que d'une estimation, et les écarts observées entre la valeur effective et la valeur estimée peuvent être fortement amplifiées par la fonction de transfert ; ces écarts s'avèrent suffisants pour induire des différences sensibles entre la configuration spatiale estimée et la configuration spatiale effective.

On voit donc que certains neurones sont favorisés ``dès la naissance'', mais fort heureusement il reste une marge d'incertitude, reposant sur la coopération entre neurones, qui permet à certains neurones défavorisés de sortir du lot. La morale est sauve!