Ainsi donc, de nombreuses propriétés des réseaux de neurones à connexions aléatoires ont pu être exlorées dans le cadre de cette thèse. Il est important de rappeler que ces résultats sont le fruit de nombreuses collaborations et discussions au sein d'une équipe de recherche fortement pluridisciplinaire, où j'ai pu apprécier une volonté commune de transmettre à tous des notions issues de domaines souvents complexes.
C'est également cet esprit qui nous a guidé tout au long de ce document, afin de rendre accessible à tous les nombreuses notions et points de vue nécessaires à la compréhension du modèle. Cette compréhension nécessitait d'évoquer d'un côté les développements mathématiques qui sous-tendent le modèle, dont seuls les résultats principaux (propagation du chaos, équations de champ moyen) ont été exposés - leurs développements techniques et démonstrations sont l'objet d'une autre thèse en cours -. D'un autre côté, nous avons veillé à toujours mettre nos résultats en perspective vis à vis des données de la biologie. Notre modèle présente en effet une grande variété de régimes dynamiques ; il est l'un des rares à proposer indifféremment des comportements soit chaotiques, soit synchronisés, ou encore mêlant l'une et l'autre de ces caractéristiques, sur un système de grande taille, dont on peut décrire le comportement à partir du champ global. Cette richesse dynamique ouvre la voie à des modélisations de phénomènes naturels de synchronisation, qui sont l'objet d'un intérêt grandissant dans la communauté scientifique.
Par ailleurs, nous avons pu constater que la dynamique qui se développe spontanément au sein du système possède une structure ; les neurones sont différenciés fonctionnellement par la dynamique. Il existe en effet un noyau de neurones actifs qui entretient la dynamique. Ces neurones actifs tendent à s'organiser en petits paquets et à propager le signal d'activation en boucle. Cette organisation possède par ailleurs un aspect très malléable. La présentation d'une entrée statique tend à produire une reconfiguration profonde de la structure spatio-temporelle de la dynamique. Le nombre de ces configurations est potentiellement très important au sein d'un même système.
Le déploiement de toute cette richesse dynamique spontanée nous a bien entendu incité à développer des algorithmes d'apprentissage visant à retrouver cette richesse au sein des comportements et des réponses produites. Nous avons cherché plus particulièrement à provoquer dans le système, grâce à l'apprentissage hebbien, un comportement d'adaptation dynamique, c'est à dire une capacité à produire des associations spécifiques entre des motifs appris et des comportements dynamiques.
La règle de Hebb mise en place prend en compte le délai de transmission élémentaire correspondant à la mise à jour synchrone des états. Cette règle tend à renforcer un nombre restreint de liens, ceux-là mêmes qui relient les différentes étapes du circuit d'activation interne. De façon progressive, pour une dynamique initialement chaotique, l'apprentissage renforce la période interne, et tend donc à produire des régimes cycliques plus réguliers. Lorsque l'apprentissage est effectué en présence d'un stimulus, la dynamique associée au stimulus tend après apprentissage à se réduire sur un régime cyclique spécifique. Cette réduction spécifique de la dynamique s'apparente au paradigme de Freeman. Le faible impact de l'apprentissage sur les poids synaptiques autorise l'apprentissage de plusieurs motifs ou séquences de motifs, et permet d'associer à chacun d'entre eux une dynamique périodique spécifique. Il est en particulier possible, pendant l'apprentissage, d'adjoindre à un motif dynamique séquentiel un motif statique, appelé motif conditionnant, tel qu'après apprentissage, la présence du motif conditionnant seul suffit à réactiver la structure spatio-temporelle associée à la séquence de motifs apprise.
Un modèle à plusieurs couches a ensuite été mis en place, qui connecte le modèle récurrent simple à une couche dite primaire, qui récolte une information spatio-temporelle provenant du monde extérieur. Après apprentissage, la dynamique interne à la couche récurrente permet de reconstruire explicitement sur la couche primaire la totalité de l'information apprise à partir de versions bruitées ou incomplètes de cette information. Les simulations ont montré qu'il existe une durée d'apprentissage optimale, correspondant au moment où le signal en provenance de la couche récurrente atteint un niveau comparable à celui du signal extérieur sur la couche primaire. Le système est alors capable, à partir de versions très incomplètes en entrée, de reconstituer sur la couche primaire l'information manquante grâce au signal provenant de la couche récurrente.
Plusieurs propriétés de notre modèle peuvent être mises en avant :
De nombreuses idées issues de la biologie sous-tendent la conception de notre modèle (grands ensembles de neurones densément connectés, règle de Hebb, paradigme de Freeman). Il est normal de voir, par un juste retour des choses, dans quelle mesure les comportements mis en évidence sur notre modèle peuvent fournir des explications sur l'organisation neuronale des systèmes biologiques.
Les idées sur l'adaptation qui ont été exposée au début de ce
document peuvent être revues à la lumière des résultats obtenus sur
notre modèle.
En premier lieu, deux principes d'adaptation sont à l'
uvre
dans notre modèle : l'adaptation synaptique, par le biais de
l'apprentissage Hebbien sur les connexions, peut représenter
la mémoire à long terme.
Un certain nombre de couplages entre des entrées et des organisations
dynamiques internes associées sont en effet inscrites pour le long terme
dans le système par l'apprentissage.
L'adaptation dynamique, qui prend place dans le réseau
après apprentissage, peut manifester à la fois un comportement de
reconnaissance, un calcul, et une mémoire à court terme.
La reconnaissance se manifeste par le fait que le système change
qualitativement son régime dynamique lorsqu'une entrée connue est présente.
Le calcul repose sur la capacité à reconstruire (ou inférer) une
information manquante à partir de l'information disponible.
Enfin, la mémoire à court terme repose sur la structure de circuit qui
se met en place dynamiquement dans le système et permet
de maintenir au sein de l'activité des neurones la mémoire de plusieurs
états, correspondant au nombre de relais du signal interne.
Cette mémoire en forme de circuit pourrait par ailleurs être
comparée à une mémoire procédurale qui marque les différentes
étapes d'un mouvement ou d'une action.
De façon plus générale, il est important de souligner l'extrême importance de la dynamique dans les systèmes neuronaux réels, et notre thèse, en mettant en avant ce point sur un modèle formel, montre qu'il existe de nombreuses possibilités en termes d'apprentissage et d'adaptation. Cette approche va de pair avec une prise en compte de plus en plus poussée en neurophysiologie des phénomènes de synchronisation et de résonance, et la recherche de leurs corrélats fonctionnels.
Tous nos résultats permettent également d'échafauder des hypothèses nouvelles sur la cognition naturelle. Rappelons tout d'abord que toute capacité cognitive naturelle est le fruit d'un apprentissage, qui met en jeu de nombreuses interactions entre un organisme et son environnement. Cette adaptation progressive permet au système de se construire un modèle interne de son environnement. Dans ce cadre, toute action produite au sein de l'environnement est déterminée non seulement à partir des entrées sensorielles mais également à partir de ce modèle interne. Celui-ci place l'action dans un contexte plus général, c'est à dire qu'il apporte quelque chose à la simple information sensorielle. Ce qui conditionne le choix de l'action provient à la fois d'une influence intérieure et d'une influence extérieure.
Dans le cadre de notre système, il est intéressant de voir que ces notions d'influence extérieure et d'influence intérieure ont pour corollaire le signal d'entrée, projeté sur la couche primaire, et le signal issu des couplages internes qui se projette en retour sur la couche primaire. C'est lorsque ces deux influences s'équilibrent que le système produit les comportements les plus riches, en reconstruisant explicitement sur la couche primaire l'information sensorielle manquante. Ce que le système ``perçoit'' n'est donc pas exactement la simple entrée sensorielle, mais plutôt une version complétée et élargie de cette stimulation. Ce que le système perçoit est donc à la frontière entre ce que le système reçoit réellement et ce qu'il ``pense voir''. Le système extrapole, ``rêve'' ses sensations, et peut même s'égarer en préférant les rêves à la réalité.
Il est bien sûr à présent permis de rêver...