Signaux incomplets et bruités

La tâche d'apprentissage est à présent rendue plus difficile par l'ajout d'un bruit sur la séquence d'entrée, tel que le rapport signal sur bruit soit égal à 1. Ainsi, la densité du bruit est égale à celle du motif, et vaut $f^{(1)}=0.075$, afin que la moitié des stimulations ne portent pas d'information. Un tel signal bruité est représenté sur la séquence du haut de la figure .

On a vu que pour une entrée non bruitée, le rapport signal sur bruit de l'activité de la couche dynamique est inférieur à 0.5 (voir page ). On a vu également que l'on peut relier ce rapport au nombre critique de pas d'apprentisage. Lorsque le signal d'entrée est lui même bruité à 50%, on trouve un nombre critique $n_c^{(12)}$ qui est de l'ordre de 100, soit le double du cas non bruité. Cela donne un rapport signal sur bruit de l'ordre de 0.2 sur la couche dynamique. On peut dire pour simplifier que les régularités sont environ deux fois plus faibles que précédement, et les liens retour mettent environ deux fois plus de temps pour capter ces régularités.

Au cours de l'apprentissage, la séquence bruitée est présentée $n=100$ fois. À l'issue de l'apprentissage, le motif initial est tronqué à 75%, et le même niveau de bruit est maintenu. Le signal d'entrée contient alors 4 fois plus d'information aléatoire que d'information significative. Le rapport signal sur bruit vaut 1/4.

La figure donne l'aspect de la séquence d'entrée utilisée pendant l'apprentissage (séquence du haut), l'aspect de la séquence présentée après apprentissage (séquence du milieu), et l'aspect du signal retour lorsque cette séquence incomplète et bruitée est mise en entrée.

Figure: Apprentissage sur un signal spatial bruité. La séquence du haut représente un extrait (le bruit change à chaque tour) du signal projeté sur la couche primaire pendant l'apprentissage. Le rapport signal/bruit vaut 1 (50% des neurones stimulés ne correspondent pas au motif). La séquence du bas représente le signal retour projeté sur la couche primaire lorsque celle-ci est stimulée par le motif tronqué (séquence du milieu) après l'apprentissage. Dynamique chaotique. Paramètres : $\alpha =0.1$, $g=8$, $N^{(1)}=3600$, $N^{(2)}=200$.

On constate immédiatement que le signal retour reproduit exhaustivement et sans bruit le signal précédemment appris. On a bien reconstitution de l'information manquante à partir d'une information d'un niveau très faible.

L'apprentissage ayant été poussé aux environs de la valeur critique, il faut noter que le signal retour est cette fois-ci capable d'activer les neurones de la couche primaire. Ainsi, les neurones de la couche primaire correspondant aux bras et aux jambes du bonhomme sont activés en accord avec le signal projeté. La partie de signal correspondant à la tête est complétée (à un niveau d'activation plus faible) par les autres éléments du motif. Dans ces conditions, le motif complété se comporte comme une entrée, et permet donc d'améliorer encore la complétion. Le système se met donc à fonctionner en boucle fermée. Il est capable de s'auto-stimuler. Bien sûr, ce comportement présente le risque de couper le système de ses entrées. Il faut donc dans ce cas vérifier que la stimulation présente sur l'entrée permet dans tous les cas de moduler le signal évoquée en boucle interne.

Sur la figure , on crée les conditions d'un conflit entre le signal produit en boucle interne et le signal d'entrée. Une anomalie apparaît en effet à partir du septième motif de la séquence d'entrée, afin que celle-ci soit en opposition de phase avec le signal retour. Dans ces conditions, le système est amené à adapter sa dynamique interne aux caractéristiques de l'entrée. Dans la mesure où le signal d'entrée est très incomplet, cette adaptation est difficile. Le réseau doit donc effectuer un choix entre ce qu'il imagine que l'entrée doit être et ce qu'elle est réellement. On constate qu'environ 15 pas de temps sont nécessaires pour que le signal interne se recale sur son entrée.

Dans ces conditions, le rôle de la dynamique interne apparaît tout à fait crucial. La reconstitution d'un motif complet à partir d'une seule imagette serait pour tout réseau une tâche difficile (80% des informations d'entrée sont erronées !) si l'on suppose qu'il n'y a aucune connaisance a priori sur la période de la séquence à apprendre (dans le cas contraire, un corrélateur à 6 sorties peut le faire). Notre système n'a aucune connaissance a priori sur la période de la séquence qu'il est amené à apprendre. C'est la régularité issue du défilement de ces entrée et l'inscription de la séquence complète dans la dynamique et les poids synaptiques qui permet en fin de compte cette reconstitution. Dans les conditions difficiles que l'on s'est imposé, le défilement temporel et le régime dynamique propre au système jouent un rôle fondamental dans le processus de reconnaissance.

Figure: Évolution sur le signal retour lorsque l'on décale le signal d'entrée. On a représenté 30 étapes de la dynamique, où le carré du haut donne la stimulation et le carré du bas le signal retour. L'entrée est décalée à $t=7$, et le recalage du signal retour s'opère aux alentours de $t=22$. Paramètres : $\alpha =0.1$, $g=8$, $N^{(1)}=3600$, $N^{(2)}=200$.

Comme dans le cas précédent, un changement de motif conditionnant annule tous les effets de l'apprentissage, et le réseau se retrouve alors incapable de reconstituer l'information à partir d'éléments bruités. Cet effet prouve là encore le rôle important de l'organisation dynamique pour l'entretien d'une réponse correcte lorsque très peu d'éléments sont disponibles. Il est en effet nécessaire de prendre en compte toute l'information fournie dans le passé pour élaborer cette réponse.