Historique

Les premières formalisations de type connexionniste datent des années quarante, et sont contemporaines de l'essor de la cybernétique. Mac Cullogh et Pitts [33] proposent en 1943 un modèle de neurone formel qui constitue le fondement du connexionnisme. Ils montrent en particulier que de tels réseaux composés d'unités fonctionnelles simples sont à même de réaliser des opérations logiques et arithmétiques. En 1949 , Hebb relie les comportements de conditionnement simple à une loi de renforcement synaptique lors de la co-occurrence d'activations [12]. Cette règle ouvre la voie à l'apprentissage fondé sur les régularités statistiques des activations (apprentissage non-supervisé).

Dans les années soixante, on voit apparaître les premiers modèles de perceptrons [34]. C'est dans ce cadre que se développent les algorithmes d'apprentissage supervisé, fondés sur le terme d'erreur entre sortie produite et sortie souhaitée, qui est à l'origine de la règle de rétropropagation (apprentissage supervisé).

Il faut attendre les années 80 pour voir se développer de nouveaux modèles. Le modèle de Hopfield [35] établit une passerelle entre les réseaux de neurones et la physique statistique. Les cartes auto-organisatrices de [36] mettent en place une règle d'apprentissage non-supervisée fondée sur la compétition. Enfin l'algorithme de rétropropagation pour le perceptron multi-couches apparaît en 1985, ouvrant la voie à de nombreuses applications dans le domaine de la classification et du traitement des données [37].

À l'heure actuelle, les voies de recherche tendent à séparer de plus en plus nettement les visées applicatives de la modélisation biologique :

• Dans le cadre du traitement de données, on assiste au retour en force de l'approche statistique pour l'optimisation, dans le cadre de l'approche bayesienne [38] (augmentation de la plausibilité (likelyhood) de la réponse), ou dans le cadre des ``machines à support vectoriel'' [39] (minimisation du risque d'erreur, en sélectionnant un certain nombre de valeurs représentatives de l'espace d'entrée).
• Pour des applications qui prennent en compte l'aspect temporel, on voit apparaître des modèles de type perceptrons multi-couches à délais (Time Delays neural networks) [40], ou avec des liens récurrents, qui prennent en compte certains aspects de l'information passée pour déterminer la réponse, en particulier pour la prédiction de séries temporelles [41] et le contrôle adaptatif en temps réel [42].
• Dans le cadre de la modélisation biologique, impulsés par les travaux de Von Der Malsburg [26] et Singer [43], les modèles de type ``integrate and fire'' permettent de de mettre en évidence des phénomènes de coopération et de synchronisation qui explicitent en partie les mécanismes de perception des formes et des contours [25].
• Toujours dans le cadre de l'approche biologique, la modélisation du cerveau en tant que système dynamique de grande taille offre des perspectives pour expliciter les phénomènes de synchronisation [24] et la coordination des mouvements [20].