Absence d'apprentissage sur les liens latéraux (figure du haut)

On constate en premier lieu qu'il y a statistiquement une durée d'apprentissage optimale, qu'on peut situer aux alentours de $n=50$ présentations ( $n \tau=400$ pas d'apprentissage), pour laquelle le taux de réussite est de l'ordre de 0.90, ce qui correspond au fait qu'une grand majorité de réseaux parvient à compléter correctement le signal partiel. On appellera $n_c^{(12)}$ le nombre critique de présentations.

On sait que l'écart-type du signal retour, nul à l'initialisation parce que les poids sont nuls, augmente en cours d'apprentissage. Plus cet écart-type est élevé, plus le signal retour influence le potentiel des neurones de la couche primaire. Ainsi, au delà d'une certaine durée critique d'apprentissage, le signal retour est capable de produire une activation soutenue sur la couche primaire. C'est autour de cette valeur critique que s'opère le retournement de tendance observé. En effet :

• Pour une valeur légèrement inférieure à la valeur critique, le signal retour reproduit une version affaiblie du motif d'entrée sans jamais se substituer à lui. Il a les caractéristiques d'une évocation, et ne permet pas d'entretenir l'activation de la couche primaire, qui dépend essentiellement de la stimulation. Néanmoins, lorsqu'un signal partiel est présenté sur la couche primaire, le signal retour reproduit les étapes suivantes de la séquence, et l'activation retour de faible amplitude sur la couche primaire participe de la restitution de la séquence complète, ce qui améliore la qualité de la réponse.
• Pour une valeur légèrement supérieure à la valeur critique, le signal retour tend à se substituer à la stimulation. Si en particulier le signal retour provoque une activation parasite d'un neurone n'appartenant pas à la séquence, celle-ci sera amplifiée par l'apprentissage puisqu'elle est reproduite sur la couche primaire. De plus, cette activation ``fantôme'' de la couche primaire tend à se renforcer très rapidement aux pas d'apprentissage suivants, en exploitant le taux d'amplification très important sur la partie linéaire de la fonction de transfert. Ce neurone tend finalement à supplanter d'autres valeurs d'activation correspondant au déroulement normal de la séquence. Le signal retour devient alors de moins en moins homogène, avec de grosses différences d'écart-type d'un neurone à l'autre. Le système se met à fonctionner en boucle fermée, en se confortant de plus en plus dans son erreur. Le signal interne prend le pas sur le signal externe, et la réponse se détériore rapidement.

Il apparaît donc que l'écart-type du signal retour est une valeur critique pour déterminer l'arrêt du processus d'apprentissage.

Comme on l'a vu précédemment (page ), $n_c^{(12)}$ fournit une estimation du rapport signal sur bruit de l'activité de la couche dynamique. On trouve une valeur de $\sigma_s^{(2)}\simeq 0.1$, soit un rapport signal sur bruit à 0,44 . L'amplitude du bruit est environ deux fois plus importante que celle du signal. Autrement dit, lorsqu'un lien $J_{ij}^{(12)}$ est renforcé par l'apprentissage, tout se passe comme si l'activité de la couche dynamique correspondait deux fois sur trois à des fluctuations aléatoires de l'activité de la couche dynamique et seulement une fois sur trois à une information pertinente. L'apprentissage nécessite donc une certaine durée pour effectuer en quelque sorte un tri sur les signaux à extraire de l'activité de la couche dynamique.

Le comportement du taux $R_\mathrm{cond}$, relatif à un changement de motif conditionnant, est également intéressant. Il donne des indications sur l'évolution du comportement réactif en cours d'apprentissage, qui traduit essentiellement l'effet de l'apprentissage sur les liens directs. On constate que la qualité de la réponse réactive continue à augmenter assez longtemps après que le taux de réussite global se soit mis à chuter. Cela traduit le mécanisme suivant : le changement de motif conditionnant statique produit une réorganisation dynamique qui change le circuit d'activation sur lequel s'appuie le signal retour. On remélange la donne en quelque sorte, si bien que les signaux retour non homogènes dans le cas où $n>n_c^{(12)}$, retrouvent leur homogénéité, qui leur permet de faire transiter la réponse réactive du réseau.

On constate qu'il n'y a pas d'évolution sur la valeur de $R_\mathrm{test}$, qui correspond au taux de réussite d'un choix aléatoire parmi six réponses possibles (16% de réussite).