L'étude des dynamiques neuronales est un des développements les plus récents du connexionnisme (étude des propriétés des réseaux de neurones). Les premiers modèles mentionnant explicitement la correspondance entre les réseaux de neurones récurrents et les systèmes de particules en interaction datent des années soixante-dix. Il faut attendre les années quatre-vingt-dix pour voir apparaître des modèles capables d'entretenir une activité dynamique, c'est à dire de produire un signal de façon autonome. Ces nouveaux modèles puisent leur inspiration dans le développement important des techniques d'observation du cerveau, qui apportent une connaissance de plus en plus poussée des principes qui régissent la communication entre neurones et ensembles de neurones à l'intérieur du cerveau. Cette inspiration biologique permet à la fois de renouveler la manière de concevoir la cognition, en tant que processus constructif inscrit dans une interaction entre la dynamique interne et les signaux provenant de l'environnement, et de proposer de nouvelles solutions pour concevoir des machines adaptatives et autonomes.
À ce titre, cette thèse s'inspire de ces idées dans le cadre de l'étude d'un réseau de neurones récurrent aléatoire. Le choix de ce modèle remonte à un travail antérieur entamé il y a presque dix ans, qui avait pour but d'approfondir la connaissance sur l'occurrence de régimes complexes dans les réseaux de neurones. Il faut donc en préambule de cette thèse rendre hommage à tout le travail de fond accompli sur ce modèle sans lequel les développements présentés ici n'auraient pas été possibles.
Au commencement donc intervint une conception, issue d'un rapprochement entre une méthode rigoureuse et un phénomène turbulent. D'un côté, une approche statistique qui déduit la régularité du champ global à partir du chaos local des interactions. De l'autre, une approche fondée sur l'étude des systèmes dynamiques visant à mettre en évidence des routes génériques menant par bifurcations successives à une complexification croissante des signaux produits par le système.
Le modèle qui a permis de mêler ces deux approches est un modèle bien familier aux tenants du connexionnisme. Il utilise un formalisme classique, et son mode de fonctionnement semble bien éloigné du réalisme biologique. Et pourtant, le choix de le doter de connexions récurrentes aléatoires non symétriques en a fait un modèle neuf qui s'inscrivait dans les deux perspectives évoquées plus haut. C'est sa simplicité même qui a autorisé les développements mathématiques les plus poussés. C'est cette même simplicité qui en fait un modèle pratique pour étudier les rapprochements possibles entre les comportements génériques de bifurcations et des hypothèses neurophysiologiques qui mettent en avant le rôle de ces bifurcations pour certains traitements cognitifs.
Un troisième élément est évidemment venu troubler le jeu : il s'agit de l'apprentissage et de la fameuse règle de Hebb. En s'ouvrant à l'apprentissage, le système est à même d'acquérir des propriétés nouvelles. D'indifférencié, il devient spécifique. D'auto-référent, il devient ouvert à son environnement. Et bien sûr, en intégrant cet apprentissage, il s'éloigne de ses fondements ; il les met en quelque sorte au défi.
Le décor et à présent posé. L'objectif de cette thèse est de décrire les propriétés nouvelles qui se manifestent sur un tel réseau lorsqu'il est soumis à une règle d'apprentissage, en présence d'un signal extérieur qui agit comme une contrainte sur la dynamique interne. Le document est divisé en cinq chapitres.
Le premier chapitre propose un panorama des différents domaines auxquels cette étude fait appel. On y trouve des notions issues de la théorie des systèmes dynamiques, qui visent à aider à la compréhension et à l'analyse des dynamiques complexes rencontrées sur le modèle. Quelques développements y sont également proposés sur la neurobiologie, en particulier sur les hypothèses les plus récentes concernant le codage neuronal, envisagé bien sûr sous son aspect dynamique. Le chapitre se termine par une revue des modèles courants du connexionnisme, avec un développement particulier pour ceux qui ont servi de fondement à notre approche.
Le second chapitre propose une synthèse des différents résultats théoriques et expérimentaux obtenus sur le modèle étudié. Le comportement en dynamique spontanée, et en particulier la déstabilisation et l'entrée dans le chaos sont tout d'abord présentés. Les résultats mathématiques principaux, qui portent sur les observables macroscopiques du système à la limite des grandes tailles, sont présentés, et comparés aux comportements effectifs des réseaux de taille finie. Enfin, un modèle à populations excitatrices et inhibitrices est décrit, qui permet de mettre en évidence des régimes dynamiques nouveaux, et en particulier des phénomènes de synchronisation à grande échelle.
Le troisième chapitre concentre l'étude sur le modèle à une population, et montre les différentes structures dynamiques qui se mettent en place spontanément après la déstabilisation. La présentation de stimuli statiques ou séquentiels en entrée du réseau tend alors à produire une complète réorganisation de la dynamique. Le système semble capable de s'adapter spontanément à ses entrées.
Le quatrième chapitre décrit différentes règles d'apprentissage. L'une d'entre elles, fondée sur la covariance des activations, produit des changements profonds sur les régimes dynamiques. Elle permet d'associer à plusieurs motifs appris des comportements dynamiques réguliers spécifiques, et d'inscrire dans la dynamique des associations entre stimuli statiques et stimuli séquentiels.
Le cinquième chapitre présente un modèle à plusieurs populations capable de reconstruire explicitement, grâce à sa dynamique interne, les caractéristiques spatiales et temporelles des signaux appris. Après une description de l'architecture, les possibilités de ce système sont testées pour différentes sortes de signaux d'entrée. Le modèle est pour finir appliqué à un problème concret de robotique mobile.