Séquences ambiguës

Les données qu'on a examiné jusqu'à présent nous fournissent des renseignements intéressants sur le fonctionnement du système et la manière dont les différentes classes de liens coopèrent. Cette coopération permet la reconstitution d'une séquence non-ambiguës à partir de quelques éléments de cette séquence. En inscrivant la période de cette séquence dans son circuit, la couche dynamique participe à cette reconstitution.

Cette première vérification faite, on cherche à utiliser plus spécifiquement les propriétés de la couche dynamique. L'apprentissage de séquences ambiguës complique la structure temporelle du signal à apprendre. Avec un signal ambigu de degré $\geq 2$, la configuration spatio-temporelle de la couche dynamique est décisive, et permet en particulier d'associer à deux élément identiques de la séquence des étapes différentes du circuit d'activation interne. L'apprentissage d'une séquence ambiguë nécessite une mémoire dynamique des états passés.

On a effectué une mesure sur la qualité de l'apprentissage dans les mêmes conditions que précédemment. La séquence a pour période $\tau =8$ et possède un degré d'ambiguïté de 3 : $s_8=(1,2,3,1,2,3,4,4)$. Lors de la présentation de la séquence, chaque entrée est donc stimulée deux fois.

Après apprentissage, la séquence de test est $s_8'=(1,0,0,0,2,0,0,0)$. Cette séquence est univoque (il n'y a qu'une seule façon de placer les éléments absents conformément à la séquence), et une bonne restitution nécessite donc une mémorisation de la structure complète de la séquence (le 1 doit être identifié comme le premier élément, et le 2 comme le cinquième élément).

Les taux de réussite pour l'apprentissage de cette séquence sont présentés figure . La structure de la courbe d'apprentissage de la séquence ambiguë est très similaires à celle de la séquence non-ambiguë. On a une durée d'apprentissage optimale sur les liens retour assez comparable, de l'ordre de $n_c^{(12)}=50$, à laquelle correspond un taux de réussite compris entre 88 % (à gauche) et 92% (à droite). Pour $n=n_c^{(12)}$, cela semble indiquer qu'une grosse majorité de réseaux qui reproduit correctement la séquence ambiguë.

Figure: Évolution des taux de réussite avec le nombre de présentations, signal ambigu. En ligne pleine : $R_\mathrm{app}$. Pointillé long : $R_\mathrm{cond}$. Pointillé fin : $R_\mathrm{test}$. La séquence d'apprentissage est $s_8=(1,2,3,1,2,3,4,4)$, et la séquence test $s_8'=(1,0,0,0,2,0,0,0)$. Figure du haut : pas d'apprentissage sur les liens latéraux. Figure du bas : on autorise l'apprentissage sur les liens latéraux. Paramètres : $\alpha =0.1$, $g=8$, $N^{(1)}=100$, $N^{(2)}=200$.

Il apparaît donc que l'ambiguïté temporelle peut être levée par le système dans la plupart des cas. Le circuit d'activation de la couche dynamique sert de ``réservoir de périodes'', et permet d'associer à chaque étape du circuit un état de la couche primaire. Tout se passe comme si les liens retour sélectionnaient le signal de champ du paquet de neurones correspondant à une étape bien déterminée du circuit. Par exemple, lorsque les neurones du groupe atteignent leur niveau d'activation maximale, le neurone associé de la couche primaire tend à atteindre sa valeur d'activation maximale à l'instant suivant.

On peut d'ailleurs remarquer que le nombre de présentations optimales $n^{(12)}_c$ est sensiblement le même que précédemment, alors que les neurones de la couche primaire sont activés deux fois par séquence, soit en tout $2n$ fois pour un apprentissage. On a ici une illustration du fait que, pour un neurone de la couche primaire participant à deux étapes de la séquence, ce ne sont pas les mêmes liens retour qui sont renforcés. À chaque étape correspond un jeu de liens retour différent.

Une bonne reconstitution nécessite donc un circuit d'activation régulier. L'apprentissage sur les liens récurrents sert précisément à renforcer cette structure. Comme on l'a vu dans les chapitres précédents, la configuration dynamique est néanmoins plus fragile que la configuration spatiale. Un changement du motif conditionnant tend à produire un nouveau circuit, dont les étapes ne sont pas spécifiquement connectées à des neurones particuliers de la couche primaire. Ainsi, le changement du motif conditionnant n'autorise plus qu'une réponse réactive qui ne permet pas de lever l'ambiguïté. C'est ce qu'on observe sur la valeur de $R_\mathrm{cond}$ qui plafonne à 60% (figure du haut), et 70 % (figure du bas), ce qui fait de l'ordre de deux erreurs en moyenne, que l'on peut relier à l'ambiguïté sur la 4ème et la 7ème étape de la séquence.

On voit par ailleurs que l'apprentissage sur les liens latéraux permet d'augmenter légèrement le taux de réussite, en renforçant vraisemblablement les réponses associées aux parties linéaires de la séquence, de type 1,2,3...

Quant à la valeur de $R_\mathrm{test}$, de l'ordre de 25 % sur la figure du haut, elle est comme précédemment comparable à un choix aléatoire effectué sur les sorties.

La figure donne sur un réseau un exemple de signal retour après apprentissage de la séquence ambiguë. On a entouré les valeurs correspondant au maximum sur les quatre signaux à un instant donné.

Figure: Signal retour $c^{(12)}(t)$, après apprentissage d'une séquence ambiguë de degré 3. La séquence apprise est du type (1,2,3,1,2,3,4,4), et est présentée 50 fois pendant l'apprentissage. On a représenté le signal retour sur les 4 premiers neurones de la couche primaire, après apprentissage, et avec une stimulation partielle à 25%. Les points entourés désignent les neurones qui réalisent le maximum d'activation à un instant donné (sur une colonne). Paramètres : $N^{(1)}=100$, $N^{(2)}=200$, $g=8$, $\alpha =0.1$.