Architectures

Une fois définies les unités de base que sont les neurones, le choix d'une architecture de connexion définit à proprement parler le système que l'on souhaite étudier. En fixant l'architecture du réseau, on détermine la fonctionnalité attachée à des neurones ou à des groupes de neurones (couches d'entrée ou de sortie, couches d'associations). Ceci vaut aussi bien pour les systèmes à visée applicative que pour les systèmes qui modélisent des fonctionnalités biologiques.

Le fait de fixer le modèle introduit donc une certaine dose d'arbitraire, et nécessite l'intervention active du concepteur (au même titre, mais à un moindre degré, que les systèmes à base de connaissance). Il existe cependant des méthodes permettant de sélectionner les architectures par évolution à l'aide d'algorithmes génétiques [50].

On peut distinguer trois grands types d'architectures neuronales :

• Réseaux à sens unique (feed forward) : Les réseaux à couches regoupent le perceptron multi-couches, les fonctions à base radiale (Radial Basis Functions), les machines à support vectoriel (Support Vector machines). Ils reposent sur le principe du couplage entre une entrée et une sortie (mémoires adressables par le contenu, séparation de sources, classification, reconnaissance de caractères, approximation de fonctions implicites, modélisation d'un processus physique). Il y a une couche d'entrée, une couche de sortie, et une ou plusieurs couches intermédiaires qui constituent les couches de traitement ou d'association. Les liaisons sont à sens unique, d'une couche vers la suivante. À l'origine de ces modèles, on trouve le perceptron [34], dont le fonctionnement s'inspire de celui de la rétine et des premières couches de traitement de l'information visuelle.
• Réseaux récurrents : À l'opposé des réseaux à sens unique, on trouve les modèles dits récurrents. Dans un modèle récurrent, l'architecture de connexion autorise des couplages réciproques entre les neurones. Le modèle pionnier dans ce domaine est celui de Hopfield [35], dont le mode de calcul met en uvre la convergence de la dynamique sur un attracteur. C'est la trajectoire dynamique du système dans son ensemble qui conduit à la solution. La matrice des poids synaptiques $J_{ij}$ est symétrique, ce qui permet de définir une fonction d'énergie $E=-{\frac{1}{2}}^t x J x$, où $x$ est le vecteur des activations. On démontre que la dynamique du réseau tend à minimiser cette fonction d'énergie. Le "paysage" d'énergie possède un certain nombre de bassins d'attraction qui correspondent aux points fixes vers lesquels le réseau va converger en fonction de l'initialisation. L'attracteur atteint est statique, et constitue la réponse à la stimulation.

  Ce type de modèle a ouvert de nouvelles perspectives en terme de modélisation neurobiologique, dans la mesure où il met en évidence un mode de calcul radicalement nouveau, avec une information répartie sur tous les couplages, et des neurones qui ne sont pas différenciés fonctionnellement : il n'y a pas de neurone d'entrée, ou de neurone de sortie. Les neurones sont impliqués collectivement dans la reconstruction ou l'interprétation de la configuration d'activations initiale.

• Réseaux à plus proches voisins : On définit une relation de voisinage sur les neurones. Le schéma de connexion se fonde alors sur ce voisinage : le voisinage conditionne la nature des liens synaptiques.

  Ce voisinage peut correspondre à une proximité physique de la stimulation, comme par exemple dans le cadre du traitement d'un champ visuel, et dans ce cas l'architecture est conforme par avance à la structure des données que l'on souhaite apprendre (par exemple repérer des contours sur une image). Dans le cadre des cartes auto-organisatrices [36], c'est au contraire la structure interne de grille qui conditionne la classification et l'interprétation des données de l'espace d'entrée.

Il existe une grande quantité d'architectures intermédiaires qui marient plusieurs des aspects présentés séparément. On peut citer en particulier l'architecture NARX [42], qui possède une architecture de type feed forward, avec une partie des sorties qui rebouclent sur les entrées.

Certains auteurs [51] ont montré l'intérêt de modèles décrivant le comportement dynamique des neurones. Dans le cadre d'applications connexionnistes, le contrôle de systèmes chaotiques pourrait s'avérer optimal en termes de codage d'information [52]. Plusieurs modèles de mémoire, qui exploitent les propriétés des dynamiques chaotiques, ont été proposées dans le cadre d'architectures récurrentes [53] ou à plus proches voisins [54].